[논문 리뷰] Averaging Gone Wrong: Using Time-Aware Analyses to Better Understand Behavior

Samuel Barbosa, Dan Cosley외 2명|arXiv (Cornell University)|2016. 03. 22.

Social Media and Politics참고 문헌 56인용 수 20

한 줄 요약

이 논문은 시간적 동적 요소를 고려하지 않은 온라인 커뮤니티 행동의 집계 분석이 오해의 소지가 있음을 주장한다. 연도별로 유저를 군집화하고 사용자 중심의 시간 기준을 사용하여 레딧 사용자를 분석한 결과, 댓글 길이와 활동 수준이 사용자 퇸에 따라 증가하는 것으로 나타났다. 이는 집계 트렌드와 정반대되며 실로먼의 역설(Simpson’s Paradox)에 기인한다. 이는 사회망 연구에서 시간 인지 기반의 방법론이 필수적임을 강조한다.

ABSTRACT

Online communities provide a fertile ground for analyzing people's behavior and improving our understanding of social processes. Because both people and communities change over time, we argue that analyses of these communities that take time into account will lead to deeper and more accurate results. Using Reddit as an example, we study the evolution of users based on comment and submission data from 2007 to 2014. Even using one of the simplest temporal differences between users---yearly cohorts---we find wide differences in people's behavior, including comment activity, effort, and survival. Further, not accounting for time can lead us to misinterpret important phenomena. For instance, we observe that average comment length decreases over any fixed period of time, but comment length in each cohort of users steadily increases during the same period after an abrupt initial drop, an example of Simpson's Paradox. Dividing cohorts into sub-cohorts based on the survival time in the community provides further insights; in particular, longer-lived users start at a higher activity level and make more and shorter comments than those who leave earlier. These findings both give more insight into user evolution in Reddit in particular, and raise a number of interesting questions around studying online behavior going forward.

연구 동기 및 목표

• 온라인 커뮤니티 연구에서 시간에 영향을 받지 않는 집계 분석의 타당성을 도전한다.
• 사용자가 커뮤니티에 언제 들어왔는지 고려하여 사용자 행동이 시간에 따라 어떻게 변화하는지 조사한다.
• 시간적 동적 요소를 忽略할 경우 사용자 활동과 노력에 대한 오해의 결론이 도출된다는 것을 입증한다.
• 유저 생존 기간이 댓글 작성과 제출 습관과 같은 행동 패턴에 미치는 영향을 탐색한다.
• 장기적 사용자 진화를 이해하기 위해 군집 기반 및 사용자 중심의 시간 기준이 얼마나 중요한지 강조한다.

제안 방법

• 군집 기반 분석: 사용자의 첫 번째 활동 연도(예: 2007, 2008 등)에 따라 레딧 사용자를 군집화한다.
• 캘린더 시간 기반 집계 트렌드와 사용자 퇸 기반 군집 트렌드를 비교한다.
• 사용자 기반 시간 기준 사용: 캘린더 시간이 아닌 각 사용자의 첫 활동 일자 기준으로 행동을 측정한다.
• 군집 간 및 시간에 따른 댓글 길이, 게시 빈도, 댓글 대 제출 비율을 분석한다.
• 실로먼의 역설과 같은 역설적 트렌드를 탐지하고 설명하기 위해 통계 기법을 적용한다.
• 유저의 생존 기간(기준치를 초과하는 활동 기간)을 고려하여 장기적 행동 진화를 유저 이탈 영향에서 분리한다.

실험 결과

연구 질문

• RQ1 모든 사용자를 종합적으로 분석하는 대신 군집 기반으로 분석할 경우, 사용자의 게시 활동은 시간이 지남에 따라 어떻게 변화하는가?
• RQ2 사용자의 커뮤니티 내 퇸에 따라 댓글 길이는 증가하는가 감소하는가, 그리고 이는 전체 집계 트렌드와 어떻게 비교되는가?
• RQ3 장기간 생존하는 사용자의 경우 댓글 대 제출 비율은 어떻게 변화하는가?
• RQ4 군집 수준의 행동 차이가 집계 데이터의 전체 트렌드를 얼마나 가리거나 왜곡하는가?
• RQ5 사용자 생존 기간이 온라인 커뮤니티 내 관찰된 행동 패턴을 형성하는 데 어떤 역할을 하는가?

주요 결과

• 집계 분석에서는 평균 댓글 길이가 시간이 지남에 따라 감소하는 추세를 보이지만, 각 군집의 경우 사용자 퇸에 따라 댓글 길이가 지속적으로 증가함을 확인하여 실로먼의 역설을 입증한다.
• 장기간 생존하는 사용자는 초기 활동 수준이 높고, 이른 시기 퇴출되는 사용자보다 더 많은 짧은 댓글을 작성한다.
• 오래된 생존 사용자는 신규 생존 사용자보다 현저히 더 활동적이며, 신규 군집은 활동 수준에서 따라잡지 못한다.
• 젊은 군집에서 저활동 생존자의 비율이 증가하고 있어, 시간이 지남에 따라 사용자 참여 패턴의 변화가 나타나고 있음을 시사한다.
• 장기적으로 생존하는 사용자는 제출 대비 댓글 비율을 점차 높이며, 전체 게시 활동 수준이 안정된 상태에서도 댓글 중심 활동으로 전환한다.
• 집계 시각은 사용자 행동을 잘못 반영한다: 생존 사용자의 평균 활동 증가는 노력 증가 때문이 아니라, 초기에 저활동 사용자들이 이탈했기 때문이다.