[논문 리뷰] Analyzing User Engagement with TikTok's Short Format Video Recommendations using Data Donations

Savvas Zannettou, Olivia-Nemes Nemeth외 5명|arXiv (Cornell University)|2023. 01. 12.

FinTech, Crowdfunding, Digital Finance인용 수 7

한 줄 요약

이 연구는 사용자가 개인 데이터에 대한 접근 권한을 행사할 수 있는 GDPR을 활용하여 연구자가 TikTok에서 실제 사용자 행동 데이터를 확보할 수 있는 GDPR 준수 데이터 기부 시스템을 도입한다. 이는 TikTok 사용자 참여도에 대한 첫 번째 대규모 정량적 분석을 제공하며, 사용자들은 하루 평균 90개의 영상을 시청하고 플랫폼에서 27분을 소비하는 것으로 나타났다. 특히 18–24세의 젊은 사용자들이 좋아요와 더 긴 시청 시간을 통해 더 높은 빈도로 참여하고 있다.

ABSTRACT

Short-format videos have exploded on platforms like TikTok, Instagram, and YouTube. Despite this, the research community lacks large-scale empirical studies into how people engage with short-format videos and the role of recommendation systems that offer endless streams of such content. In this work, we analyze user engagement on TikTok using data we collect via a data donation system that allows TikTok users to donate their data. We recruited 347 TikTok users and collected 9.2M TikTok video recommendations they received. By analyzing user engagement, we find that the average daily usage time increases over the users' lifetime while the user attention remains stable at around 45%. We also find that users like more videos uploaded by people they follow than those recommended by people they do not follow. Our study offers valuable insights into how users engage with short-format videos on TikTok and lessons learned from designing a data donation system.

연구 동기 및 목표

• 웹 스크래핑, 자가 보고, 연구자 생성 계정 등의 기존 TikTok 연구 방법의 한계를 극복하기 위해.
• 연구자가 TikTok에서 진정성 있고 대규모의 사용자 행동 데이터를 확보할 수 있도록 개인정보 보호를 고려한 데이터 기부 시스템을 개발하기 위해.
• 기부된 데이터를 활용해 실제 사용자 참여 패턴, 콘텐츠 소비 습관, 인구 통계적 차이를 연구하기 위해.
• 폐쇄형 소셜 미디어 플랫폼을 대상으로 데이터 기부를 연구 방법으로 활용할 때의 가능성, 신뢰성, 과제를 평가하기 위해.

제안 방법

• 유럽 연합 GDPR의 제15조를 활용하여 사용자가 자신의 개인 TikTok 데이터를 요청하고 다운로드할 수 있도록 했다.
• 사용자가 자신의 TikTok 데이터(예: 시청 기록, 좋아요, 공유 기록 등)를 익명화하고 맞춤 설정한 후 연구자에게 안전하게 기부할 수 있도록 하는 데이터 기부 시스템을 구축했다.
• 기부 전 현지에서 데이터를 익명화하고 검토할 수 있도록 오프라인 도구를 제공하여 개인정보 보호와 신뢰를 강화했다.
• 347명의 참가자로부터 총 490만 개의 영상이 920만 번 시청된 데이터를 확보했으며, 관련된 참여 지표도 함께 확보했다.
• 참여를 유도하기 위해 보상 모델을 적용하여 영상 기록은 5달러, 선택적 항목은 1달러를 제공했다.
• 사후 영상 메타데이터 수집 및 세션 유추 기법을 적용하여 시청 시간을 추정했지만, 알려진 한계가 존재한다.

실험 결과

연구 질문

• RQ1 실제 TikTok 사용자는 하루에 얼마나 많은 콘텐츠를 소비하며, 플랫폼에서 얼마나 많은 시간을 소비하는가?
• RQ2 TikTok에서 영상 참여(예: 좋아요, 공유, 댓글)는 얼마나 퍼져 있으며, 인구 통계적 그룹 간에 어떻게 다를까?
• RQ3 TikTok과 같은 폐쇄형 플랫폼을 연구하기 위해 데이터 기부 시스템을 사용할 때의 주요 과제와 한계는 무엇인가?
• RQ4 연령 등의 인구 통계적 요인이 TikTok에서의 시청 행동과 참여 패턴에 어떻게 영향을 미치는가?
• RQ5 TikTok의 데이터 다운로드 기능이 제공하는 데이터의 정확성과 종합성은 어느 정도인가?

주요 결과

• 참가자들은 하루 평균 90개의 영상을 시청하고 하루 평균 27분을 TikTok에서 소비하여 높은 수준의 일일 참여도를 보였다.
• 18–24세의 젊은 사용자들은 25–34세의 더 어린 사용자들보다 훨씬 더 오랜 시간 TikTok에서 활동했으며, 이는 연령에 따른 플랫폼 이용 방식의 차이를 시사한다.
• 좋아요가 주요 참여 방식이었으며, 18–24세의 젊은 사용자들이 25–34세의 더 어린 사용자들보다 더 많은 영상에 좋아요를 눌렀다. 이는 세대 간 상호작용 패턴의 차이를 반영한다.
• 데이터 기부 시스템을 통해 총 490만 개의 영상가 920만 번 시청된 데이터를 성공적으로 확보하여, GDPR 기반 데이터 접근을 통한 대규모 행동 데이터 수집의 가능성을 입증했다.
• 결측 데이터(예: 좋아요 기록에 두 달 간 빈칸)는 TikTok의 데이터 내보내기 功能의 일관성 부족을 드러내며, 데이터의 완전성과 플랫폼의 준수 여부에 대한 우려를 제기한다.
• 연구 결과로는 플랫폼에서 소비된 시간이 과소평가될 가능성이 있으며, 추론된 세션의 끝부분에서의 영상 시청은 분석에서 제외되었기 때문에 보고된 시간은 하한선에 불과하다.