[논문 리뷰] Learning to Ignore: A Case Study of Organization-Wide Bulk Email Effectiveness

Ruoyan Kong, Haiyi Zhu외 1명|arXiv (Cornell University)|2020. 06. 30.

Personal Information Management and User Behavior참고 문헌 55인용 수 5

한 줄 요약

이 연구는 대학의 조직적 대량 이메일 시스템에서 다수의 이해관계자 간 상호작용을 조사하며, 커뮤니케이터가 열람률을 우선시하는 데 반해 수신자는 대부분의 이메일을 관련성이 없다고 간주해 무시함에도 불구하고, 클라이언트들은 낮은 참여도에도 불구하고 광범위한 배포를 요구함으로써 인centive가 맞지 않는 시스템적 실패를 드러낸다. 주요 기여는 더 나은 타겟팅과 피드백 메커니즘을 갖춘 조직 인지적 대량 이메일 시스템 설계를 위한 프레임워크이다.

ABSTRACT

Bulk email is a primary communication channel within organizations, with all-company emails and regular newsletters serving as a mechanism for making employees aware of policies and events. Ineffective communication could result in wasted employee time and a lack of compliance or awareness. Previous studies on organizational emails focused mostly on recipients. However, organizational bulk email system is a multi-stakeholder problem including recipients, communicators, and the organization itself. We studied the effectiveness, practice, and assessments of the organizational bulk email system of a large university from multi-stakeholders' perspectives. We conducted a qualitative study with the university's communicators, recipients, and managers. We delved into the organizational bulk email's distributing mechanisms of the communicators, the reading behaviors of recipients, and the perspectives on emails' values of communicators, managers, and recipients. We found that the organizational bulk email system as a whole was strained, and communicators are caught in the middle of this multi-stakeholder problem. First, though the communicators had an interest in preserving the effectiveness of channels in reaching employees, they had high-level clients whose interests might outweigh judgment about whether a message deserves widespread circulation. Second, though communicators thought they were sending important information, recipients viewed most of the organizational bulk emails as not relevant to them. Third, this disagreement was amplified by the success metric used by communicators. They viewed their bulk emails as successful if they had a high open rate. But recipients often opened and then rapidly discarded emails without reading the details. Last, while the communicators in general understood the challenge, they had a limited set of targeting and feedback tools to support their task.

연구 동기 및 목표

• 커뮤니케이터, 수신자, 관리자 관점에서 조직적 대량 이메일 시스템의 효과성, 실천 방식, 평가 방식을 이해하기 위해.
• 수신자가 높은 열람률에도 불구하고 메시지를 무시함에도 불구하고 발생하는 조직적 대량 이메일 커뮤니케이션의 체계적 실패를 특정하기 위해.
• 특히 고위 클라이언트와 수신자 과부하 사이에서 갇힌 커뮤니케이터들이 겪는 목표의 부조화가 메시지 효과성에 어떻게 악영향을 미치는지 분석하기 위해.
• 열람률과 같은 기존 지표가 진정한 커뮤니케이션 영향을 측정하는 데 얼마나 부적절한지 탐색하기 위해.
• 조직의 우선순위와 수신자의 관련성 및 참여도를 균형 잡는 개선된 대량 이메일 시스템 설계를 뒷받침하기 위해.

제안 방법

• 12명의 커뮤니케이터, 15명의 수신자, 다수 부서의 6명의 관리자를 대상으로 한 대규모 대학에서 질적 케이스 스터디를 수행하였다.
• 반구조화된 인터뷰, 인box 자료 탐색, 로그된 인box 데이터 및 이메일 메타데이터 분석을 통해 데이터를 수집하였다.
• 실시간으로 수신자가 대량 이메일과 어떻게 상호작용하는지 관찰하기 위해 아티팩트 탐색을 사용하였으며, 열람, 스캔, 기각 등의 행동을 캡처하였다.
• 커뮤니케이터의 이메일 배포 방식, 클라이언트의 요구사항, 피드백 메커니즘을 분석하였으며, 특히 열람률을 주요 성공 지표로 삼는 데 중점을 두었다.
• 커뮤니케이터의 클라이언트, 수신자, 조직 목표를 포함한 이해관계자 역할과 상호의존성을 매핑하였다.
• 다양한 이해관계자 관점의 발견을 통합하여 체계적 긴장과 개선된 이메일 시스템을 위한 설계 함의를 도출하였다.

실험 결과

연구 질문

• RQ1 커뮤니케이터들은 조직적 대량 이메일의 효과성을 어떻게 인식하며, 성공을 평가하기 위해 어떤 지표를 사용하는가?
• RQ2 수신자들은 조직적 대량 이메일을 어떻게 해석하고 반응하는가? 읽거나 무시하기로 결정하는 데 영향을 미치는 요소는 무엇인가?
• RQ3 대량 이메일 시스템 내에서 커뮤니케이터, 그들의 클라이언트, 수신자 간의 충돌하는 우선순위는 무엇인가?
• RQ4 현재 열람률을 성공 지표로 삼는 데서 비롯하는 오해는 실제 메시지 영향력과 수신자 참여도와 어떻게 부조화되는가?
• RQ5 높은 배포 량에도 불구하고 효과적인 커뮤니케이션을 방해하는 조직적 대량 이메일 시스템 내의 체계적 과제는 무엇인가?

주요 결과

• 커뮤니케이터들은 높은 열람률을 성공의 증거로 보고 있지만, 수신자들은 대부분의 이메일을 열고 즉시 내용을 읽지 않고 기각함으로써 초기 시각적 노출 이외의 참여도가 낮음을 시사한다.
• 커뮤니케이터들이 중요한 정보를 공유하고 있다고 믿는 데 비해, 수신자들은 대부분의 대량 이메일을 관련성이 없다고 인식하여 광범위하게 무시하거나 필터링함으로써 반응을 보였다.
• 커뮤니케이터의 고위 클라이언트들은 항상 관련성보다 광범위한 배포를 우선시하여, 수신자가 중요하다고 느끼지 못하는 메시지도 보내야 한다는 압박을 가했다.
• 피드백 메커니즘과 타겟팅 도구의 부재로 인해 커뮤니케이터들은 실제 메시지 영향력에 대한 통찰을 거의 확보하지 못했으며, 효과성의 유일한 대체 지표로 열람률에 의존할 수밖에 없었다.
• 분산된 커뮤니케이션 구조로 인해 다양한 부서에서 반복되고 겹치는 메시지가 발생하여 수신자 과부하가 심화되었고, 전체 시스템의 효과성이 떨어졌다.
• 컴플라이언스 및 인식 향상과 같은 조직의 우선순위는 발신자의 의도, 수신자의 행동, 기관 목표 간의 부조화로 인해 둔화되었다.