[論文レビュー] Is More Data Better? Re-thinking the Importance of Efficiency in Abusive Language Detection with Transformers-Based Active Learning

Hannah Rose Kirk, Bertie Vidgen+1 more|arXiv (Cornell University)|Sep 21, 2022

Hate Speech and Cyberbullying Detection被引用数 7

ひとこと要約

この論文は、トランスフォーマーに基づくアクティブラーニングが、いじめや攻撃的言語検出におけるデータ効率を顕著に向上させることを示している。少ないラベル付き例での学習でもF1スコアが高く、完全にラベル付きデータで学習したモデルを上回ることすらある。不確実性サンプリング（LeastConfidence）とヒューリスティックベースのシード選択を用いることで、ラベル付けの必要を最大98%まで削減しながら、性能を維持または向上させることができ、特に低発生率・不均衡な状況で顕著である。

ABSTRACT

Annotating abusive language is expensive, logistically complex and creates a risk of psychological harm. However, most machine learning research has prioritized maximizing effectiveness (i.e., F1 or accuracy score) rather than data efficiency (i.e., minimizing the amount of data that is annotated). In this paper, we use simulated experiments over two datasets at varying percentages of abuse to demonstrate that transformers-based active learning is a promising approach to substantially raise efficiency whilst still maintaining high effectiveness, especially when abusive content is a smaller percentage of the dataset. This approach requires a fraction of labeled data to reach performance equivalent to training over the full dataset.

研究の動機と目的

• いじめや攻撃的言語のラベル付けに伴う高コストと心理的リスクを軽減するため、モデル学習におけるデータ効率を向上させること。
• より多くのラベル付きデータが常に性能を向上させるのか、それとも効率的なアクティブラーニングによって少ない例数でより良い結果が得られるのかを調査すること。
• モデルアーキテクチャ（トランスフォーマー対従来型）とクラスの不均衡が、アクティブラーニングの効率性と有効性に与える影響を評価すること。
• BERTベースのモデルを用いたアクティブラーニングが、完全データセットで学習したモデルでさえも、全データの3%のラベル付き例でF1スコアを上回ることを実証すること。
• アクティブラーニングが、低発生率・現実的で不均衡なデータ分布において最も効果的であるという証拠を提供すること。

提案手法

• 異なる発生率（5%、10%、50%）の2つの既存のいじめ・攻撃的言語データセット（wiki と tweets）を用いた、シミュレーテッドアクティブラーニング実験。
• 4段階のアクティブラーニングループを実装：初期シード選択、情報量の多いサンプルを抽出するクエリ戦略、人間によるラベル付け（シミュレーテッド）、モデルの再訓練。
• 複数のクエリ戦略を比較：LeastConfidence（不確実性）、GreedyCoreSet（多様性）、EmbeddingKMeans（埋め込みベースのクラスタリング）。
• 従来のSVMとBERTベースの分類器（dBERT）を用いて、モデルアーキテクチャの効率性への影響を評価。
• ヒューリスティックベースとランダムなシード選択を用いて、初期化の影響、特に不均衡データにおける影響を評価。
• F1スコアとN90（最大F1の90%に到達するためのラベル付き例の数）を測定することで、実験間の比較を可能にした。

実験結果

リサーチクエスチョン

• RQ1 RQ1.1: いじめや攻撃的言語検出におけるアクティブラーニングにおいて、モデル事前学習とアーキテクチャがデータ効率と有効性に与える影響は何か？
• RQ2 RQ1.2: クラスの不均衡は、アクティブラーニング戦略の効率性と有効性にどのように影響するか？
• RQ3 RQ1.3: トランスフォーマーに基づくアクティブラーニングは、顕著に少ないラベル付き例で学習した場合でも、完全にラベル付きデータで学習したモデルをF1スコアで上回ることができるか？
• RQ4 RQ1.4: 不確実性（例：LeastConfidence）、多様性（例：GreedyCoreSet）、埋め込みベースのクラスタリング（例：EmbeddingKMeans）といった異なるクエリ戦略は、データ効率と性能の面でどのように比較されるか？
• RQ5 RQ1.5: アクティブラーニングモデルの性能は、異なるデータセットや不均衡度合いにおいてどれほど一般化可能か？

主な発見

• 発生率が5%の状況で、全データセットの3%（600例）のラベル付き例のみで学習したBERTベースのアクティブラーニングモデルが、20,000例の全データセットで学習した完全な教師あり学習モデルよりもF1スコアで5ポイント高い結果を達成した。
• LeastConfidenceクエリ戦略は、ランダムサンプリングや他の多様性ベースの戦略よりもデータ効率が高く、ピーク性能に到達するためのラベル付き例の数が少なかった。
• 小さなシードサイズ（20例）とバッチサイズ（50）は、大きなシード（200）やバッチ（100、500）よりも顕著に高いデータ効率を示し、wiki50ではF1スコアが最大55ポイント向上した。
• ヒューリスティックベースのシード選択は不均衡データセットにおいて不可欠であった。ランダムシードでは、wiki10では33%の試行、wiki5では100%の試行で攻撃的例が含まれなかった。これは、インformedな初期化の必要性を示している。
• 発生率が低いほど、アクティブラーニングとランダムサンプリングの性能差が拡大し、現実的で不均衡な状況においてアクティブラーニングが最も価値があることが示された。
• データセット間での一般化性を検証した結果、tweetsで学習したモデルはwikiにうまく一般化した。特に低発生率条件下で顕著で、アクティブラーニング手法のロバスト性を示している。