[論文レビュー] A Holistic Approach to Undesired Content Detection in the Real World

Todor Markov, Chong Zhang+6 more|arXiv (Cornell University)|Aug 5, 2022

Hate Speech and Cyberbullying Detection被引用数 16

ひとこと要約

本論文では、現実世界の言語モデル出力における嫌がらせ、自傷的行動、いじめなど、多様な形の望ましくないコンテンツを検出する包括的で生産環境対応のフレームワークを提示する。アクティブラーニング、きめ細やかなデータ品質管理、合成データ増強、強固なモデル学習を組み合わせることで、特にレアカテゴリにおいて顕著なパフォーマンス向上を達成し、オフザシェルフモデルを上回り、分布シフトに対しても効果的に対処する。

ABSTRACT

We present a holistic approach to building a robust and useful natural language classification system for real-world content moderation. The success of such a system relies on a chain of carefully designed and executed steps, including the design of content taxonomies and labeling instructions, data quality control, an active learning pipeline to capture rare events, and a variety of methods to make the model robust and to avoid overfitting. Our moderation system is trained to detect a broad set of categories of undesired content, including sexual content, hateful content, violence, self-harm, and harassment. This approach generalizes to a wide range of different content taxonomies and can be used to create high-quality content classifiers that outperform off-the-shelf models.

研究の動機と目的

• 多様な現実世界のユースケースに一般化可能なスケーラブルで生産環境向けのコンテンツモデレーションシステムを開発すること。
• 相互評価者間のばらつきが著しい、稀で主観的な望ましくないコンテンツカテゴリの課題に対処すること。
• 公開データセットに依存せず、生産トラフィック上でアクティブラーニングを活用することで、データ分布シフトを低減すること。
• 合成データとレッドチーム戦略により、一般的なフレーズやテンプレートへの過学習を防ぎ、モデルの頑健性を向上させること。
• 被検査者にメンタルヘルス支援と退職権を提供するなど、倫理的なデータラベル付けの実践をスケーラブルに実現すること。

提案手法

• ラベル付けの主観性を最小限に抑えるために、文化的に配慮された詳細なコンテンツ分類体系と明確なガイドラインを設計する。
• 定期的なキャリブレーションと正確性を重視したラベル付け指針を含む、きめ細やかな品質管理を実施する複数段階のデータパイプラインを構築する。
• 生産トラフィックから直接レアな望ましくないコンテンツをサンプリングするアクティブラーニングを採用し、稀カテゴリのデータを最大22倍に増強する。
• 一般的なフレーズやテンプレートへのモデルの過学習を是正するために、合成データ生成と人間によるキュレート済み例を活用する。
• 半教師あり学習と不確実性推定を用いて、モデルの一般化性能を向上させ、曖昧なケースに対処する。
• データ漏洩を防止し、同意に基づくデータ利用を確保するため、セキュリティおよびプライバシー制御を統合する。

実験結果

リサーチクエスチョン

• RQ1 コンテンツモデレーションシステムは、多様で稀で主観的な望ましくないコンテンツカテゴリにおいて、どのようにして高いパフォーマンスを維持できるか？
• RQ2 公開データセットと比較して、生産データ上で実施するアクティブラーニングは、稀なコンテンツ検出においてどの程度効果を発揮するか？
• RQ3 主観的で感受性の高いコンテンツを取り扱う際、データ品質とラベル付けの一貫性をどのように維持できるか？
• RQ4 合成データとモデルレッドチーム戦略は、一般的なフレーズパターンへの過学習をどの程度軽減するか？
• RQ5 コンテンツモデレーションパイプラインにおいて、スケーラブルに倫理的かつ安全なデータラベル付けの実践をどのように実現できるか？

主な発見

• 生産データ上で実施したアクティブラーニングにより、稀カテゴリのサンプル収集が最大22倍に増加し、リソースが限られたカテゴリのパフォーマンスが最大10倍向上した。
• 公開データセットは初期のコールドスタートには有用であるが、十分な高品質ラベルデータが得られた後は、モデルパフォーマンスを低下させる可能性がある。
• 「Xは憎悪を示す」といった一般的なフレーズパターンへの過学習は、合成データとレッドチーム戦略により是正され、モデルの頑健性が向上した。
• 集約ラベルで学習させたモデルと同等またはそれ以上のパフォーマンスを達成した一方で、人間のラベラー間の不一致と整合性のある不確実性推定を維持した。
• メンタルヘルス支援と退職権を含む倫理的なラベリング実践が、データ品質に影響を与えることなくパイプラインに成功裏に統合された。
• 本フレームワークは、複数のコンテンツ分類体系において強力な一般化性能を示し、実際の生産環境での展開においてオフザシェルフモデルを上回った。