[論文レビュー] Detecting Harmful Content On Online Platforms: What Platforms Need Vs. Where Research Efforts Go

Arnav Arora, Preslav Nakov+9 more|arXiv (Cornell University)|Feb 27, 2021

Hate Speech and Cyberbullying Detection被引用数 5

ひとこと要約

本稿は、オンラインプラットフォームのコンテンツモデレーションニーズと、有害コンテンツ検出に関する現在の研究努力の間にある不一致を分析している。42のプラットフォームのポリシーを調査し、arXivの研究と比較することで、顕著な不均衡が明らかになった。例えば、誤情報や政治的プロパガンダは重点的に研究されている一方、児童買春や自傷行為といった、プラットフォームにとって極めて重要な課題は、研究の注目をあまり浴びていない。

ABSTRACT

The proliferation of harmful content on online platforms is a major societal problem, which comes in many different forms including hate speech, offensive language, bullying and harassment, misinformation, spam, violence, graphic content, sexual abuse, self harm, and many other. Online platforms seek to moderate such content to limit societal harm, to comply with legislation, and to create a more inclusive environment for their users. Researchers have developed different methods for automatically detecting harmful content, often focusing on specific sub-problems or on narrow communities, as what is considered harmful often depends on the platform and on the context. We argue that there is currently a dichotomy between what types of harmful content online platforms seek to curb, and what research efforts there are to automatically detect such content. We thus survey existing methods as well as content moderation policies by online platforms in this light and we suggest directions for future work.

研究の動機と目的

• オンラインプラットフォームがモデレーションを求める有害コンテンツの種類と、自動検出手法に関する研究の焦点の間の乖離を特定すること。
• ソーシャルメディア、ゲーム、支援コミュニティを含む多様なカテゴリにまたがる42のオンラインプラットフォームのコンテンツモデレーションポリシーを分析すること。
• 有害コンテンツの種別ごとに、arXivの論文数と、各タイプをモデレーション対象としているプラットフォーム数を比較することで、研究の相対的焦点を数量化すること。
• プラットフォームの優先順位は高いが、学術的注目が不足している、研究が不十分なコンテンツカテゴリを特定すること。
• 学術的作業を現実のプラットフォームのニーズやコンテンツモデレーションにおける技術的課題とよりよく一致させる、今後の研究方向性を提言すること。

提案手法

• ソーシャルメディア、マーケットプレイス、動画プラットフォーム、ゲームコミュニティを含む、42のオンラインプラットフォームのコミュニティガイドラインを体系的に収集・分析した。
• プラットフォームポリシーに基づいて有害コンテンツの種別を分類し、標準化された害のカテゴリ（例：差別的発言、自傷行為、誤情報）にマッピングした。
• 有害コンテンツの種別ごとにarXivの論文（プレプリントを含む）の数を収集・分析し、研究対プラットフォームカバレッジ比を算出した。
• 利用規約および利用条件条項のキーワード分析を用いて、プラットフォーム固有の優先事項を特定し、研究トレンドと比較した。
• データセットの可用性と特異性を評価し、感受性の高いコンテンツタイプにおける大規模かつプライバシー保護型データセットの不足を指摘した。
• 文脈の感受性、マルチモーダルコンテンツ、ポリシーの変化のしやすさといった課題が、モデルの一般化と研究の再現可能性を妨げていることを特定した。

Figure 1: Number of policy topics covered by each platform per category.

実験結果

リサーチクエスチョン

• RQ1 現在の自動有害コンテンツ検出に関する研究努力は、オンラインプラットフォームの実際のコンテンツモデレーション優先順位とどの程度一致しているか。
• RQ2 プラットフォームのポリシーで優先されているにもかかわらず、研究が不十分な有害コンテンツの種別は何か。
• RQ3 有害コンテンツの種別ごとに、研究論文数とプラットフォームカバレッジの比はどのように変動するか。
• RQ4 コンテンツモデレーションにおけるプラットフォームニーズを満たすために、研究が阻害されている主な技術的およびデータ関連の障壁は何か。
• RQ5 文脈的・文化的要因およびマルチモーダル要因は、現実のプラットフォーム環境における現在の検出モデルの実現可能性にどのように影響するか。

主な発見

• 誤情報（比：29.40）と政治的プロパガンダ（比：19.00）では、研究対プラットフォームカバレッジ比が最も高く、これら分野に学術的関心が集まっていることが示された。
• プラットフォームの安全性にとって極めて重要であるにもかかわらず、児童買春（比：0.46）と性的誘発（比：0.20）は、研究の注目が著しく不足している。
• 危険な団体（比：4.90）と暴力（比：6.38）では、研究活動がプラットフォームカバレッジを上回っていることが判明し、これら分野では研究が活発であると示唆された。
• 自傷行為（22のプラットフォーム）といじめ・いじり（37のプラットフォーム）のカバレッジが高くても、研究対プラットフォームカバレッジ比はそれぞれ4.64および7.46にとどまり、依然として大きな研究ギャップがあることが明らかになった。
• グラフィックなコンテンツ（比：1.93）と人身取引（比：3.53）は、プラットフォームのモデレーション優先順位に比して研究が不十分に抑えられている。
• 本研究では、マルチモーダル理解の欠如、文脈感受性の不足、高リスクコンテンツタイプにおける現実的でプライバシー保護型のデータセットへのアクセス不足といった、主要な課題を同定した。

(a) number of platform T&Cs out of 42 mentioning each topic