[論文レビュー] TAR on Social Media: A Framework for Online Content Moderation

Eugene Yang, David Lewis+1 more|arXiv (Cornell University)|Aug 29, 2021

Hate Speech and Cyberbullying Detection参考文献 48被引用数 4

ひとこと要約

本稿では、高再現率の法的ディスcoveryで開発されたTechnology-Assisted Review (TAR)ワークフローを、オンラインコンテンツモデレーションに適応する手法を提案している。関連性フィードバックと不確実性サンプリングを用いたアクティブラーニングにより、2つの公開データセットにおいて、モデレーションコストを20%から55%まで削減することを実証した。このアプローチは、人間によるレビューに向け高価値のコンテンツを優先するものであり、ポリシー違反コンテンツの高再現率を維持しながら、人的コストを顕著に削減する。

ABSTRACT

Content moderation (removing or limiting the distribution of posts based on their contents) is one tool social networks use to fight problems such as harassment and disinformation. Manually screening all content is usually impractical given the scale of social media data, and the need for nuanced human interpretations makes fully automated approaches infeasible. We consider content moderation from the perspective of technology-assisted review (TAR): a human-in-the-loop active learning approach developed for high recall retrieval problems in civil litigation and other fields. We show how TAR workflows, and a TAR cost model, can be adapted to the content moderation problem. We then demonstrate on two publicly available content moderation data sets that a TAR workflow can reduce moderation costs by 20% to 55% across a variety of conditions.

研究の動機と目的

• ソーシャルメディアプラットフォームにおける人間によるモニタリングの高コストとスケーラビリティの課題に対処すること。
• 高再現率の法的ディスcoveryで使用されるTechnology-Assisted Review (TAR)ワークフローを、コンテンツモデレーションの文脈に適応すること。
• 関連性フィードバックや不確実性サンプリングといったアクティブラーニング戦略が、ランダムサンプリングや完全な手動レビューと比較して、モデレーションコストを低減するかどうかを評価すること。
• 実際のモデレーションシナリオにおける、多様なコンテンツ出現頻度レベルとバッチサイズの下でのコスト削減を分析すること。
• 法的情報検索技術をソーシャルメディアのコンテンツモデレーションに転用可能かどうかを検討すること。

提案手法

• eDiscoveryから抽出した二段階および一括のTARワークフローを、コンテンツモデレーションに適応し、人間を含むアクティブラーニングを採用する。
• 関連性フィードバックと不確実性サンプリングを用いて、人間によるレビューの対象となる文書を優先順位付けし、分類器の性能を段階的に改善する。
• 人的レビュー時間とモデル学習コストのバランスを取るコストモデルを適用し、ワークフローの効率を最適化する。
• 公開済みのデータセット（WikipediaおよびASKfm）を用いて、トピックの出現頻度やバッチサイズの変動に応じたTARのパフォーマンスを評価する。
• 各トピックに対して20回の再実行を実施し、統計的妥当性を確保するとともに、反復処理における計算精度とコスト指標を算出する。
• ヒートマップを用いて精度のトレンドを可視化し、モデレーターの経験と分類器の品質の時間的推移を評価する。

実験結果

リサーチクエスチョン

• RQ1 法的eDiscoveryから得られたTARワークフローは、オンラインコンテンツモデレーションタスクに効果的に適応可能か？
• RQ2 ランダムサンプリングと比較して、関連性フィードバックと不確実性サンプリングは、どの程度モデレーションコストを低減するか？
• RQ3 コンテンツ出現頻度（例：レアな対象と頻度の高い有毒コンテンツ）が、TARベースのモデレーションにおけるコスト削減の可能性に与える影響はいかほどか？
• RQ4 アクティブラーニングにおけるバッチサイズは、コスト効率と分類器のパフォーマンスに影響を与えるか？
• RQ5 さまざまなTAR戦略において、レビュー対象コンテンツの精度は反復処理の経過とともにどのように変化するか？

主な発見

• TARワークフローは、WikipediaおよびASKfmの両データセットにおいて、さまざまな条件下でモデレーションコストを20%から55%まで削減した。
• 関連性フィードバックと不確実性サンプリングは、ランダムサンプリングを著しく上回り、ASKfmでは5,000件の学習文書を経過した後、Wikipediaではそれ以降にコスト削減のピークに達した。
• ASKfmの「呪いの排除」カテゴリのような低出現頻度カテゴリでは、不確実性サンプリングにより8,002回の反復後に最大53.65%のコスト削減が達成された。
• 関連性フィードバックでは、精度が時間経過とともに高く安定した一方、不確実性サンプリングではバッチごとに一貫した精度を維持し、信頼できる分類器の改善を示した。
• ランダムに80%のサンプルをレビューするコストは、Wikipediaで92,590、ASKfmで90,958であったが、これはすべてのTARベースのアプローチよりも顕著に高かった。
• 大きなバッチサイズは、再トレーニングの頻度が低下するため、コスト改善をわずかに減少させた。実際の運用では、より小さなバッチサイズがよりコスト効率的である可能性がある。