[논문 리뷰] Beyond Views: Measuring and Predicting Engagement in Online Videos

Siqi Wu, Marian-Andrei Rizoiu외 1명|arXiv (Cornell University)|2017. 09. 08.

Social Media and Politics인용 수 46

한 줄 요약

이 논문은 530만 개의 영상 자료를 활용해 유튜브에서 영상 참여도를 대규모로 측정하며, 영상 길이에 대비한 시청 비율을 校정하는 새로운 지표인 상대적 참여도(relative engagement)를 제안한다. 이는 참여도가 시간에 따라 안정적임을 보이며, 영상 품질과 강하게 상관되며, 주제, 맥락, 채널 정보와 같은 업로드 이전 특성만으로도 R² = 0.77의 예측 성능을 달성할 수 있음을 시사한다.

ABSTRACT

The share of videos in the internet traffic has been growing, therefore understanding how videos capture attention on a global scale is also of growing importance. Most current research focus on modeling the number of views, but we argue that video engagement, or time spent watching is a more appropriate measure for resource allocation problems in attention, networking, and promotion activities. In this paper, we present a first large-scale measurement of video-level aggregate engagement from publicly available data streams, on a collection of 5.3 million YouTube videos published over two months in 2016. We study a set of metrics including time and the average percentage of a video watched. We define a new metric, relative engagement, that is calibrated against video properties and strongly correlate with recognized notions of quality. Moreover, we find that engagement measures of a video are stable over time, thus separating the concerns for modeling engagement and those for popularity -- the latter is known to be unstable over time and driven by external promotions. We also find engagement metrics predictable from a cold-start setup, having most of its variance explained by video context, topics and channel information -- R2=0.77. Our observations imply several prospective uses of engagement metrics -- choosing engaging topics for video production, or promoting engaging videos in recommender systems.

연구 동기 및 목표

• 조회수 외에도 시청 시간, 시청 비율과 같은 시간 기반 지표로 대규모 영상 참여도를 측정하고 이해하는 것.
• 영상 길이를 고려한 참여도 지표인 상대적 참여도를 개발하여 콘텐츠 품질과의 상관관계를 확보하는 것.
• 업로드 이전에 공개된 메타데이터만을 사용해 참여도를 예측할 수 있는지 조사하는 것.
• 참여도 모델링과 인기도를 분리하여, 인기도가 불안정하고 홍보에 의해 영향을 받는다는 점을 고려하는 것.
• 콘텐츠 제작자와 플랫폼이 고참여도 영상을 제작하고 추천하기 위한 실질적인 통찰을 제공하는 것.

제안 방법

• 2016년 2개월 간의 공개된 유튜브 데이터 스트림에서 530만 개의 영상 자료를 포함하는 네 개의 대규모 데이터셋을 구축함.
• 참여도 지표 정의: 평균 시청 시간, 평균 시청 비율, 평균 시청 비율의 길이 보정 순위인 상대적 참여도.
• 2차원 시각화 맵을 활용해 영상 길이에 비해 시청 시간과 시청 비율의 편향을 분석함.
• 업로드 이전의 맥락, 주제, 채널 특성만을 사용해 냉시작 설정에서 평균 시청 비율과 상대적 참여도를 예측하기 위해 표준 기계학습 모델 적용.
• 영상 수명 주기 전반에 걸친 종단적 분석을 통해 참여도 지표의 시간적 안정성을 검증함.
• 음악 및 뉴스 분야에서 알려진 품질 지표(예: 빌보드, 베보, 주요 뉴스 채널)와 상대적 참여도의 상관관계를 분석함.

실험 결과

연구 질문

• RQ1 집합 데이터를 활용해 조회수 외에 영상 참여도를 어떻게 의미 있게 대규모로 측정할 수 있는가?
• RQ2 특히 상대적 참여도는 알려진 영상 품질 개념과 상관관계가 있는가?
• RQ3 주제, 맥락, 채널과 같은 공개 메타데이터만을 사용해 업로드 이전에 참여도 지표를 예측할 수 있는가?
• RQ4 영상의 수명 주기 동안 참여도는 얼마나 안정적인가? 그리고 인기도 동적 변화와 어떻게 다를까?
• RQ5 참여도는 업로드 이전 특성으로 얼마나 예측 가능하며, 초기 사용자 반응(조회수, 댓글 등)에 의존하는 모델과 비교해 볼 때 어떤가?

주요 결과

• 상대적 참여도는 시간에 따라 안정적이므로 장기적인 콘텐츠 평가에 신뢰할 수 있는 지표이다.
• 상대적 참여도는 빌보드 순위나 베보 아티스트 성과와 같은 음악 및 뉴스 분야의 기존 품질 지표와 강하게 상관된다.
• 냉시작 설정에서 주제, 맥락, 채널 정보만을 사용해 평균 시청 비율을 R² = 0.77의 정확도로 예측할 수 있다.
• 참여도 지표는 초기 사용자 반응(조회수, 댓글 등)이 필요 없이 공개 특성만으로도 예측 가능하다.
• 영상 길이는 전통적인 시청 비율 지표에 심각한 편향을 초래하지만, 상대적 참여도는 길이 보정을 통해 이를 보정한다.
• 일부 주제는 참여도의 강력한 예측 변수이므로 주제 선정이 콘텐츠 전략 수립에 기여할 수 있다.