[논문 리뷰] Evolution of Conversations in the Age of Email Overload

Farshad Kooti, Luca Maria Aiello외 3명|arXiv (Cornell University)|2015. 04. 02.

Personal Information Management and User Behavior참고 문헌 33인용 수 5

한 줄 요약

200만 명의 사용자와 160억封의 이메일을 대상으로 한 이 큰 규모의 연구는 이메일 과부하가 사용자의 응답 속도를 높이고 응답하는 메시지 수를 줄이며 짧은 응답을 유도하지만, 전체적으로는 반응성을 유지함을 밝혀냈다. 저자들은 통신력, 인구통계학적 정보, 부하 지표를 활용하여 응답 시간, 응답 길이, 스레드 종료 행동을 예측하는 모델을 개발하였으며, 이는 기준 모델보다 유의미하게 뛰어난 성능을 보였다.

ABSTRACT

Email is a ubiquitous communications tool in the workplace and plays an important role in social interactions. Previous studies of email were largely based on surveys and limited to relatively small populations of email users within organizations. In this paper, we report results of a large-scale study of more than 2 million users exchanging 16 billion emails over several months. We quantitatively characterize the replying behavior in conversations within pairs of users. In particular, we study the time it takes the user to reply to a received message and the length of the reply sent. We consider a variety of factors that affect the reply time and length, such as the stage of the conversation, user demographics, and use of portable devices. In addition, we study how increasing load affects emailing behavior. We find that as users receive more email messages in a day, they reply to a smaller fraction of them, using shorter replies. However, their responsiveness remains intact, and they may even reply to emails faster. Finally, we predict the time to reply, length of reply, and whether the reply ends a conversation. We demonstrate considerable improvement over the baseline in all three prediction tasks, showing the significant role that the factors that we uncover play, in determining replying behavior. We rank these factors based on their predictive power. Our findings have important implications for understanding human behavior and designing better email management applications for tasks like ranking unread emails.

연구 동기 및 목표

• 대규모 사용자 집단에서 이메일 과부하가 응답 행동에 미치는 영향을 규모 기반으로 이해하기 위해.
• 사용자 인구통계학적 정보, 기기 유형, 대화 단계가 응답 시간과 길이에 미치는 영향을 정량화하기 위해.
• 높은 정확도로 응답 시점, 응답 길이, 스레드 종료를 모델링하고 예측하기 위해.
• 이메일 대화에서의 동기화 및 언어적 조율과 같은 핵심 행동 패턴을 식별하기 위해.
• 예측된 응답 가능성에 기반해 읽지 않은 메시지를 우선순위 정렬하는 더 스마트한 이메일 관리 도구 설계에 정보를 제공하기 위해.

제안 방법

• 다양한 월간 기간 동안 200만 명 이상의 사용자로부터 160억 통신을 분석하여 이중적 이메일 대화를 연구하였다.
• 응답 시간, 응답 길이, 스레드 종료 행동을 핵심 반응 변수로 측정하였다.
• 로지스틱 회귀와 기울기 부스팅 트리 모델을 사용하여 응답 시간, 응답 길이, 스레드 종료를 예측하였으며, 사용자 인구통계학적 정보, 이메일 부하, 시간대, 메시지 기록 등의 특징을 포함하였다.
• 응답 행동에 가장 예측력 있는 요소를 식별하기 위해 특징 중요도 순위를 적용하였다.
• 시간적 패턴과 통신력 기록을 기반으로 모델을 훈련시켜 사용자 응답을 높은 정밀도로 예측하였다.
• 상대적 향상도 지표를 사용하여 강력한 기준 모델과의 성능 평가를 실시하였다.

실험 결과

연구 질문

• RQ1 이메일 부하가 증가할수록 응답하는 메시지 비율, 응답 시간, 응답 길이는 어떻게 영향을 받는가?
• RQ2 연령과 성별 등 사용자 인구통계학적 정보가 응답 행동과 과부하에 대한 반응에 미치는 영향은 어떠한가?
• RQ3 특히 동기화 및 조율 측면에서 대화의 진행 단계에 따라 응답 행동은 어떻게 변화하는가?
• RQ4 통신력 기록과 맥락적 특징을 활용하여 응답 시간, 응답 길이, 스레드 종료 행동을 얼마나 정확하게 예측할 수 있는가?
• RQ5 이메일 대화에서 응답 행동에 가장 예측력 있는 요소는 무엇인가?

주요 결과

• 이메일 부하가 증가함에 따라 사용자는 도착한 메시지 중 더 작은 비율을 응답하지만, 응답 속도는 빨라지며, 이는 압박 상황에서의 적응을 시사한다.
• 젊은 사용자는 더 빠르게 응답하고 더 짧은 응답을 작성하며, 과부하에 더 민감한 행동을 보인다.
• 평일 및 근무 시간대에는 응답 속도가 빨라지며, 하루가 진행되면서 늦어지거나 주말에는 응답 시간이 늘어나고 길이가 줄어든다.
• 모바일 기기로의 응답은 데스크톱 기기 대비 유의미하게 더 빠르고 짧으며, 기기 유형이 핵심 행동 요소임을 시사한다.
• 응답 시간 예측에서 모델은 58.8%의 정확도를 달성하였으며, 기준 모델 대비 67.1%의 상대적 향상을 기록하였다.
• 응답 길이 예측에서는 모델이 71.8%의 정확도를 달성하였으며, 기준 모델 대비 113.7%의 상대적 향상을 기록하여 강력한 예측 능력을 입증하였다.