[논문 리뷰] "Learn the Facts About COVID-19": Analyzing the Use of Warning Labels on TikTok Videos

Ling Chen, Krishna P. Gummadi외 1명|arXiv (Cornell University)|2022. 01. 19.

Misinformation and Its Impacts인용 수 5

한 줄 요약

이 연구는 패an드림 기간 동안 틱톡이 건강 관련 영상에 '코로나19에 대한 사실을 배우세요' 경고 레이블을 어떻게 사용하는지 분석하며, 레이블이 광범위하게 그리고 종종 부적절하게 적용되고 있음을 발견한다. #coronavirus 해시태그가 포함된 영상의 99%가 레이블을 받고 있으며, 관련이 없는 영상의 23%가 잘못 표시된다. 이는 소프트 모더레이션 시스템의 심각한 오류를 드러내며, 잘못된 정보를 담은 영상의 7.7%는 레이블이 없음을 보여준다.

ABSTRACT

During the COVID-19 pandemic, health-related misinformation and harmful content shared online had a significant adverse effect on society. To mitigate this adverse effect, mainstream social media platforms employed soft moderation interventions (i.e., warning labels) on potentially harmful posts. Despite the recent popularity of these moderation interventions, we lack empirical analyses aiming to uncover how these warning labels are used in the wild, particularly during challenging times like the COVID-19 pandemic. In this work, we analyze the use of warning labels on TikTok, focusing on COVID-19 videos. First, we construct a set of 26 COVID-19 related hashtags, then we collect 41K videos that include those hashtags in their description. Second, we perform a quantitative analysis on the entire dataset to understand the use of warning labels on TikTok. Then, we perform an in-depth qualitative study, using thematic analysis, on 222 COVID-19 related videos to assess the content and the connection between the content and the warning labels. Our analysis shows that TikTok broadly applies warning labels on TikTok videos, likely based on hashtags included in the description. More worrying is the addition of COVID-19 warning labels on videos where their actual content is not related to COVID-19 (23% of the cases in a sample of 143 English videos that are not related to COVID-19). Finally, our qualitative analysis on a sample of 222 videos shows that 7.7% of the videos share misinformation/harmful content and do not include warning labels, 37.3% share benign information and include warning labels, and that 35% of the videos that share misinformation/harmful content (and need a warning label) are made for fun. Our study demonstrates the need to develop more accurate and precise soft moderation systems, especially on a platform like TikTok that is extremely popular among people of younger age.

연구 동기 및 목표

• 팬데믹 기간 동안 틱톡이 코로나19 관련 영상에 경고 레이블을 어떻게 적용하는지 조사하기.
• 잘못된 정보 및 양호한 콘텐츠에 대한 경고 레이블 적용의 정확성과 일관성 평가하기.
• 특히 유머나 비잘못된 정보 콘텐츠인 경우, 콘텐츠와 레이블 존재 간의 괴리 이해하기.
• 틱톡과 같은 청소년 중심 플랫폼에서 소프트 모더레이션 시스템의 효과성과 신뢰성 평가하기.
• 플랫폼 투명성 향상 및 향후 건강 관련 잘못된 정보에 대한 콘텐츠 모더레이션 전략 개선을 위한 정보 제공하기.

제안 방법

• 틱톡의 검색 API를 통해 26개의 코로나19 관련 해시태그를 사용해 총 41,853개의 틱톡 영상 수집.
• 해시태그 및 콘텐츠 관련성 기반으로 레이블 유통률 측정을 위해 전체 데이터셋에 대한 정량적 분석 수행.
• 콘텐츠 유형과 레이블의 정당성 평가를 위해 무작위로 선정한 222개의 영어 영상에 대한 정성적 주제 분석 수행.
• 레이블 적용 논리를 추론하기 위해 해시태그 기반 히وري스틱 사용 — 레이블은 영상 설명의 특정 해시태그에 의해 트리거된다고 가정.
• 영상들을 잘못된 정보/유해 콘텐츠, 양호한 콘텐츠, 유머를 위한 영상으로 분류하고, 레이블 존재 여부와 비교.
• 모더레이션 정확도 평가를 위해 잘못된 양성(양호한 영상에 레이블 부여)과 잘못된 음성(잘못된 정보 영상에 레이블 미부여) 측정.

실험 결과

연구 질문

• RQ1 해시태그 #coronavirus 또는 기타 코로나19 관련 해시태그를 포함한 틱톡 영상에 경고 레이블이 얼마나 자주 적용되는가?
• RQ2 코로나19 패안드림과 관련이 없는 영상에 경고 레이블이 얼마나 자주 잘못 적용되는가?
• RQ3 코로나19에 관한 잘못된 정보나 유해 콘텐츠를 담은 영상가운데 레이블이 부여되지 않은 경우는 얼마나 자주 발생하는가?
• RQ4 영상의 유머나 오락적 성격과 레이블이 잘못 부여되거나, 정당한 레이블이 부여되지 않은 경우의 가능성 간의 관계는 어떠한가?
• RQ5 명시적으로 유머를 위한 영상인지 교육적 또는 정보성 콘텐츠인지에 따라 콘텐츠 유형과 레이블 존재 여부의 상관관계는 어떻게 되는가?

주요 결과

• 설명에 #coronavirus 해시태그가 포함된 영상의 99%가 '코로나19에 대한 사실을 배우세요' 경고 레이블을 받았으며, 이는 광범위한 해시태그 기반 모더레이션 정책을 시사한다.
• 코로나19와 관련이 없는 143개의 영어 영상 중 23%가 잘못되게 '코로나19에 대한 사실을 배우세요' 경고 레이블을 받았으며, 이는 높은 잘못된 양성 비율을 나타낸다.
• 코로나19에 관한 잘못된 정보나 유해 콘텐츠를 담은 영상 중 7.7%는 레이블이 없었으며, 이는 심각한 잘못된 음성 문제를 드러낸다.
• 유해하지 않은 정보를 담은 영상의 37.3%가 잘못된 레이블을 받았으며, 이는 현재 시스템이 너무 넓게 레이블을 적용하고 있고 뉘앙스를 고려하지 못하고 있음을 시사한다.
• 잘못된 정보나 유해 콘텐츠를 담고 있으며 레이블이 부여되어야 할 영상의 35%는 오락이나 유머를 위한 목적으로 제작되었으며, 이는 위험한 콘텐츠를 유머로 포장하는 데서 위험 요소가 있음을 보여준다.
• 본 연구는 틱톡의 현재 소프트 모더레이션 시스템이 일관되지 않으며, 콘텐츠 분석 대신 해시태그 기반으로 일반적으로 레이블을 적용하기 때문에 그 신뢰성과 효과성이 훼손되고 있음을 드러낸다.