[논문 리뷰] Beyond Views: Measuring and Predicting Engagement on YouTube Videos

Siqi Wu, Marian-Andrei Rizoiu외 1명|arXiv (Cornell University)|2017. 09. 08.

Caching and Content Delivery참고 문헌 38인용 수 10

한 줄 요약

이 논문은 2016년 두 달 간 530만 개의 영상에서 수집한 대규모 측정 자료를 바탕으로 유튜브 영상 참여도를 분석하며, 영상 품질과 맥락에 연관된 정규화된 지표인 '상대적 참여도(relative engagement)'를 제안한다. 참여도는 시간이 지남에 따라 안정적이며, 초기 영상 특성(예: 주제, 채널, 맥락)으로부터 매우 높은 예측가능성을 보이며(R² = 0.77), 콘텐츠 전략 및 추천 시스템에서 시청 수 기반 모델보다 뛰어난 성능을 발휘함을 입증한다.

ABSTRACT

The share of videos in the internet traffic has been growing, therefore understanding how videos capture attention on a global scale is also of growing importance. Most current research focus on modeling the number of views, but we argue that video engagement, or time spent watching is a more appropriate measure for resource allocation problems in attention, networking, and promotion activities. In this paper, we present a first large-scale measurement of video-level aggregate engagement from publicly available data streams, on a collection of 5.3 million YouTube videos published over two months in 2016. We study a set of metrics including time and the average percentage of a video watched. We define a new metric, relative engagement, that is calibrated against video properties and strongly correlate with recognized notions of quality. Moreover, we find that engagement measures of a video are stable over time, thus separating the concerns for modeling engagement and those for popularity -- the latter is known to be unstable over time and driven by external promotions. We also find engagement metrics predictable from a cold-start setup, having most of its variance explained by video context, topics and channel information -- R2=0.77. Our observations imply several prospective uses of engagement metrics -- choosing engaging topics for video production, or promoting engaging videos in recommender systems.

연구 동기 및 목표

• 참여도와 콘텐츠 품질의 신뢰도를 높이기 위해 영상 시청 수에서 시간 기반 참여도로 초점을 이동시키기.
• 공개된 유튜브 데이터를 활용해 대규모 영상 참여도를 측정하기.
• 영상 품질과 관련이 있으며 영상 특성에 따라 校정된 새로운 지표인 상대적 참여도를 정의하고 검증하기.
• 참여도 지표가 시청 수와 비교해 시간에 따라 얼마나 안정적인지 조사하기.
• 초기 영상 특성(예: 주제, 채널, 맥락)으로부터 참여도를 얼마나 정확히 예측할 수 있는지 평가하기.

제안 방법

• 2016년 두 달 동안 발표된 530만 개의 영상에 대해 공개된 유튜브 데이터 스트림을 수집하고 분석함.
• 총 시청 시간 및 평균 영상 시청 비율과 같은 참여도 지표를 정의함.
• 영상 길이와 채널별 기준값에 따라 校정된 정규화된 지표인 '상대적 참여도'를 도입함.
• 냉시작 설정에서 영상 맥락, 주제, 채널 정보로부터 참여도를 예측하기 위해 회귀 모델을 사용함.
• 참여도에 설명되는 분산의 비율을 정량화하기 위해 R²를 사용해 모델 성능을 평가함.
• 시간 창 간 비교를 통해 참여도의 시간적 안정성을 평가함.

실험 결과

연구 질문

• RQ1 시간으로 측정된 영상 참여도는 알려진 영상 품질 기준과 얼마나 관련이 있는가?
• RQ2 시청 수와 비교해 참여도는 시간이 지남에 따라 얼마나 안정적인가?
• RQ3 주제, 채널, 맥락과 같은 초기 영상 특성으로부터 참여도를 정확히 예측할 수 있는가?
• RQ4 원시 시청 시간과 비교해 상대적 참여도는 영상 품질을 얼마나 잘 반영하는가?
• RQ5 영상 런칭 시점에서 영상 메타데이터의 참여도 예측 능력은 어떠한가?

주요 결과

• 시청 시간과 평균 시청 비율과 같은 참여도 지표는 시간이 지나도 안정적이며, 외부 홍보로 인한 변동이 있는 시청 수와는 달리 안정적임.
• 상대적 참여도는 영상 품질과 강하게 상관되며, 영상 특성에 따라 校정되어 편향을 줄임.
• 냉시작 특성으로부터 참여도는 매우 높은 예측 가능성을 보이며, 맥락, 주제, 채널 정보로 인해 분산의 77%가 설명됨(R² = 0.77).
• 연구 결과에 따르면 참여도가 영상 홍보 및 추천 시스템에서 시청 수보다 더 신뢰도 있는 신호임을 입증함.
• 다양한 영상 길이와 채널 간에 영상 수준의 참여도 측정치는 일관되며, 표준화된 품질 지표로 사용될 수 있음.
• 결과는 참여도 지표를 활용해 영상 제작 주제를 안내하고 추천 시스템 성능을 향상시키는 데 유용함을 지지함.