[논문 리뷰] Three Metrics for Measuring User Engagement with Online Media and a YouTube Case Study

Lassi A. Liikkanen|arXiv (Cornell University)|2013. 12. 19.

Social Media and Politics참고 문헌 6인용 수 8

한 줄 요약

이 논문은 표준 유튜브 통계에서 유도된 세 가지 사용자 참여 지표—댓글 빈도, 투표 빈도, 투표 균형—을 제안하여 사용자 상호작용을 보다 정교하게 측정하고자 한다. 인기 있는 유튜브 영상에 적용한 사례 연구에서 이 지표들은 원시적인 참여 수치와는 중간 정도의 상관관계를 보이며, 단순한 시청 수나 좋아요 수를 넘어서는 세밀한 사용자 행동을 포착하는 데 그 가치를 가짐을 시사한다.

ABSTRACT

This technical report discusses three metrics of user engagement with online media. They are Commenting frequency, Voting frequency, and Voting balance. These relative figures can be derived from established, basic statistics available for many services, prominently YouTube. The paper includes case a study of popular YouTube videos to illustrate the characteristics and usefulness of the measures. The study documents the range of observed values and their relationships. The empirical sample shows the three measures to be only moderately correlated with the original statistics despite the common numerators and denominators. The paper concludes by discussing future applications and the needs of the quantification of user interaction with new media services.

연구 동기 및 목표

• 기본적인 시청 수나 좋아요 수를 넘어서 사용자 참여를 측정하기 위한 새로운 해석 가능한 지표를 개발하기 위해.
• 이러한 지표들이 전통적인 참여 지표와 비교하여 사용자 상호작용 패턴을 어떻게 다르게 포착하는지 분석하기 위해.
• 실제로 인기 있는 유튜브 영상에서 확보한 실세계 데이터를 사용하여 지표를 평가하기 위해.
• 상대적 지표가 영상 플랫폼에서 다양한 사용자 행동을 이해하는 데 어떻게 유용한지 보여주기 위해.
• 미래의 신규 미디어 서비스에서 사용자 상호작용의 정량화를 뒷받침하기 위해.

제안 방법

• 댓글 빈도를 1,000명의 시청자당 댓글 수의 비율로 정의하고, 이를 정규화한다.
• 투표 빈도를 1,000명의 시청자당 투표 수(좋아요/싫어요)의 비율로 정의하고, 이를 정규화한다.
• 투표 균형을 (좋아요 수 - 싫어요 수) / 총 투표 수의 비율로 정의하여 감정 극성(긍/부정)을 나타낸다.
• 공개된 통계를 사용하여 인기 있는 유튜브 영상 샘플에 이러한 지표를 적용한다.
• 데이터셋 전반에서 세 지표의 분포 및 상호관계를 분석한다.
• 통계적 분석을 통해 신규 지표와 원래의 참여 수치 간의 상관관계를 평가한다.

실험 결과

연구 질문

• RQ1 인기 있는 유튜브 영상들 사이에서 댓글 빈도, 투표 빈도, 투표 균형은 어떻게 변동하는가?
• RQ2 이러한 새로운 지표들이 시청 수나 좋아요 수와 같은 전통적 참여 지표와 얼마나 상관관계가 있는가?
• RQ3 이 지표들이 원시 통계치로는 포착되지 않는 고유한 사용자 행동 패턴을 드러낼 수 있는가?
• RQ4 실세계의 온라인 미디어 콘텐츠 샘플에서 각 지표의 관측값 범위는 무엇인가?
• RQ5 이 지표들은 서로 다른 유형의 사용자 참여를 구분하는 데 얼마나 잘 기능하는가?

주요 결과

• 댓글 빈도, 투표 빈도, 투표 균형이라는 세 지표는 분모와 분자를 공유하고 있음에도 불구하고 원래의 참여 통계와는 중간 정도의 상관관계를 보였다.
• 댓글 빈도는 매우 다양하게 변동하여, 인기 있는 영상에서도 실제로 댓글을 다는 시청자 비율이 매우 낮다는 것을 시사한다.
• 투표 빈도는 일반적으로 낮은 편이며, 대부분의 영상에서 1,000명의 시청자당 1건 이하의 투표가 이루어져, 활성 투표 행동이 제한적임을 나타낸다.
• 투표 균형은 일부 영상에서 심각한 감정 극성(편향)을 드러내며, 극단적인 값은 강한 청중 반응을 의미한다.
• 이 지표들은 원시적인 시청 수나 좋아요 수만으로는 반영되지 않는 사용자 상호작용의 세밀한 측면을 종합적으로 포착한다.
• 실증 결과는 지표들이 콘텐츠 유형과 청중 반응 패턴에 민감하게 반응함을 보이며, 참여 분석에 활용될 수 있음을 뒷받침한다.