[論文レビュー] "Learn the Facts About COVID-19": Analyzing the Use of Warning Labels on TikTok Videos

Ling Chen, Krishna P. Gummadi+1 more|arXiv (Cornell University)|Jan 19, 2022

Misinformation and Its Impacts被引用数 5

ひとこと要約

本研究はパンデミック期におけるTikTokの『COVID-19の事実を学ぼう』警告ラベルの使用を分析し、ラベルが広くかつしばしば不適切に適用されていることを明らかにした。#coronavirusを含む動画の99％がラベルを受け、関連のない動画の23％が誤ってフラグ付けされている。一方で、誤情報動画の7.7％はラベルが付いておらず、ソフトモデレーションシステムにおける顕著な不正確さが浮き彫りになった。

ABSTRACT

During the COVID-19 pandemic, health-related misinformation and harmful content shared online had a significant adverse effect on society. To mitigate this adverse effect, mainstream social media platforms employed soft moderation interventions (i.e., warning labels) on potentially harmful posts. Despite the recent popularity of these moderation interventions, we lack empirical analyses aiming to uncover how these warning labels are used in the wild, particularly during challenging times like the COVID-19 pandemic. In this work, we analyze the use of warning labels on TikTok, focusing on COVID-19 videos. First, we construct a set of 26 COVID-19 related hashtags, then we collect 41K videos that include those hashtags in their description. Second, we perform a quantitative analysis on the entire dataset to understand the use of warning labels on TikTok. Then, we perform an in-depth qualitative study, using thematic analysis, on 222 COVID-19 related videos to assess the content and the connection between the content and the warning labels. Our analysis shows that TikTok broadly applies warning labels on TikTok videos, likely based on hashtags included in the description. More worrying is the addition of COVID-19 warning labels on videos where their actual content is not related to COVID-19 (23% of the cases in a sample of 143 English videos that are not related to COVID-19). Finally, our qualitative analysis on a sample of 222 videos shows that 7.7% of the videos share misinformation/harmful content and do not include warning labels, 37.3% share benign information and include warning labels, and that 35% of the videos that share misinformation/harmful content (and need a warning label) are made for fun. Our study demonstrates the need to develop more accurate and precise soft moderation systems, especially on a platform like TikTok that is extremely popular among people of younger age.

研究の動機と目的

• パンデミック期におけるTikTokがCOVID-19関連動画に警告ラベルをどのように適用しているかを調査すること。
• 誤情報および無害なコンテンツに対する警告ラベル適用の正確性と一貫性を評価すること。
• 特にユーモラスまたは誤情報でないコンテンツに対して、コンテンツとラベルの存在の間の乖離を理解すること。
• TikTokのような若者中心のプラットフォームにおけるソフトモデレーションシステムの効果性と信頼性を評価すること。
• 健康関連の誤情報に対する今後のコンテンツモデレーション戦略の改善とプラットフォームの透明性を高めること。

提案手法

• TikTokの検索APIを用いて26個のCOVID-19関連ハッシュタグを用いて41,853本のTikTok動画を収集した。
• ハッシュタグとコンテンツの関連性に基づいてラベルの出現頻度を測定するため、全データセットを定量的に分析した。
• 内容の種別とラベルの根拠を評価するため、ランダムに抽出した222本の英語動画を対象に定性的なテーマ的分析を実施した。
• ハッシュタグに基づくヒューリスティクスを用いて、ラベル適用の論理を推定した。具体的には、動画の説明文に特定のハッシュタグが含まれるとラベルが発動すると仮定した。
• 動画を『誤情報／有害』、『無害』、『お笑い目的』のカテゴリに分類し、ラベルの有無と照合した。
• 誤検出（無害な動画にラベルが付与されたもの）と誤検出漏れ（誤情報にラベルが付与されなかったもの）を測定し、モデレーションの正確性を評価した。

実験結果

リサーチクエスチョン

• RQ1 ハッシュタグ#coronavirusやその他のCOVID-19関連ハッシュタグを含むTikTok動画に対して、警告ラベルはどの程度頻繁に適用されているか？
• RQ2 COVID-19パンデミックとは関係のない動画に対して、警告ラベルがどの程度誤って適用されているか？
• RQ3 COVID-19に関する誤情報や有害な内容を含む動画が、警告ラベルを受けない頻度はどの程度か？
• RQ4 動画がユーモラスまたはエンターテインメント性を持っている場合、誤ってラベルが付けられたり、本来ラベルが付くべきなのに付けられなかったりする可能性はどの程度高いか？
• RQ5 特に『お笑い目的』の動画と教育的・情報提供目的の動画とを比較した場合、コンテンツの種別とラベルの有無の相関関係はいかなるものか？

主な発見

• 説明文にハッシュタグ#coronavirusを含む動画の99％が『COVID-19の事実を学ぼう』警告ラベルを受けた。これは、ハッシュタグに依存する広範なモデレーションポリシーであることを示している。
• COVID-19とは関係のない143本の英語動画のうち23％が『COVID-19の事実を学ぼう』警告ラベルで誤ってラベル付けされた。これは、誤検出率が非常に高いことを示している。
• COVID-19に関する誤情報や有害な内容を含む動画のうち7.7％がラベルが付いていなかった。これは、顕著な誤検出漏れの問題を示している。
• 有益な情報を提供する動画の37.3％が誤ってラベルが付けられていた。これは、現在のシステムがラベルを広く適用しすぎており、ニュアンスを考慮していないことを示している。
• 誤情報や有害な内容を広める動画のうち35％は、エンターテインメントやユーモアを目的として作成されており、危険な内容を隠すためにユーモアを利用しているリスクがある。
• 本研究は、TikTokの現在のソフトモデレーションシステムが一貫性に欠け、コンテンツ分析ではなくハッシュタグに基づいてラベルが付与される傾向にあることを明らかにした。このため、ラベルの信頼性と効果性が損なわれている。