[論文レビュー] Learning to Ignore: A Case Study of Organization-Wide Bulk Email Effectiveness

Ruoyan Kong, Haiyi Zhu+1 more|arXiv (Cornell University)|Jun 30, 2020

Personal Information Management and User Behavior参考文献 55被引用数 5

ひとこと要約

本研究は、大規模な大学における組織的大量メール配信システムの複数ステークホルダー間のダイナミクスを調査し、インcentiveの不一致によるシステム的失敗を明らかにした。発信者は開封率を重視するが、受信者はほとんどすべてのメールを無関係とみなして無視する。一方、クライアントは低参加率にもかかわらず、広範な配信を要求する。主な貢献は、より良いターゲティングとフィードバックメカニズムを備えた、組織に配慮した大量メールシステムの設計フレームワークの提示である。

ABSTRACT

Bulk email is a primary communication channel within organizations, with all-company emails and regular newsletters serving as a mechanism for making employees aware of policies and events. Ineffective communication could result in wasted employee time and a lack of compliance or awareness. Previous studies on organizational emails focused mostly on recipients. However, organizational bulk email system is a multi-stakeholder problem including recipients, communicators, and the organization itself. We studied the effectiveness, practice, and assessments of the organizational bulk email system of a large university from multi-stakeholders' perspectives. We conducted a qualitative study with the university's communicators, recipients, and managers. We delved into the organizational bulk email's distributing mechanisms of the communicators, the reading behaviors of recipients, and the perspectives on emails' values of communicators, managers, and recipients. We found that the organizational bulk email system as a whole was strained, and communicators are caught in the middle of this multi-stakeholder problem. First, though the communicators had an interest in preserving the effectiveness of channels in reaching employees, they had high-level clients whose interests might outweigh judgment about whether a message deserves widespread circulation. Second, though communicators thought they were sending important information, recipients viewed most of the organizational bulk emails as not relevant to them. Third, this disagreement was amplified by the success metric used by communicators. They viewed their bulk emails as successful if they had a high open rate. But recipients often opened and then rapidly discarded emails without reading the details. Last, while the communicators in general understood the challenge, they had a limited set of targeting and feedback tools to support their task.

研究の動機と目的

• 発信者、受信者、管理者の視点から、組織的大量メールシステムの効果性、実践、評価を理解すること。
• 受信者が高開封率にもかかわらずメッセージを無視するにもかかわらず、組織的大量メール通信にシステム的失敗が生じる理由を特定すること。
• 特に、上位のクライアントと受信者負荷の間で挟まれた発信者の間で、目標が不一致になることがメッセージ効果性を損なう仕組みを検討すること。
• 開封率のような現在の指標が、真の通信インパクトを測るのにどう不適切であるかを検討すること。
• 組織の優先事項と受信者の関連性・関与度の両立を図る、改善された大量メールシステムの設計を支援すること。

提案手法

• 大規模な大学で実施された定性的ケーススタディ。複数の部署にまたがり、12名の発信者、15名の受信者、6名の管理者を対象にした。
• 半構造化インタビュー、インボックスアーティファクトのウォークスルー、ログ記録されたインボックスデータおよびメールメタデータの分析によるデータ収集。
• 受信者が大量メールと実際にどのようにやり取りするかを観察するため、アーティファクトウォークスルーを実施。開封、スキャン、破棄といった行動を捉えた。
• 発信者のメール配信実践、クライアントの要請、フィードバックメカニズムの分析。特に、成功の主な指標としての開封率に注目した。
• 発信者のクライアント、受信者、組織的目標を含む、ステークホルダーの役割と相互依存関係をマッピング。
• 複数のステークホルダーの視点から得られた知見を統合し、システム的緊張と改善されたメールシステムの設計インプリケーションを特定した。

実験結果

リサーチクエスチョン

• RQ1 発信者は、組織的大量メールの効果性をどのように認識しており、成功を評価するためにどのような指標を使用しているか？
• RQ2 受信者は、組織的大量メールをどのように解釈し、反応しているのか。読むか無視するかを決める要因は何か？
• RQ3 発信者、そのクライアント、受信者の間で、大量メールシステム内でどのような対立する優先事項が生じているか？
• RQ4 現在の成功指標としての開封率の依存が、実際のメッセージインパクトや受信者の関与度とどのように不一致を生じているか？
• RQ5 高配信量にもかかわらず、効果的な通信が実現できない組織的大量メールシステムにおける、どのようなシステム的課題が存在するか？

主な発見

• 発信者は高い開封率を成功の証として報告していたが、受信者は内容を読まずに即座に破棄するケースが多く、初期の可視性を超えた関与はほとんどなかった。
• 発信者が重要な情報を共有していると信じていたにもかかわらず、受信者は大多数の大量メールを無関係とみなしており、広く無視されたりフィルタリングされたりしていた。
• 発信者の上位クライアントは、常に関連性よりも広範な配信を優先しており、受信者がそれらを重要でないと感じても、発信者にメッセージを送信するよう圧力をかける。
• フィードバックメカニズムやターゲティングツールの欠如により、発信者は実際のメッセージインパクトについての洞察をほとんど得られず、効果性の代理指標として開封率に依存するにとどまっていた。
• 分散化されたコミュニケーション構造により、異なる部署から重複したメッセージが繰り返し送信され、受信者の負荷が増加し、全体のシステム効果性が低下した。
• コンプライアンスや認知の向上といった組織の優先事項は、送信者の意図、受信者の行動、制度的目標の間の不一致によって損なわれていた。