[論文レビュー] A Federated Approach for Hate Speech Detection

Jay Gala, Deep Gandhi+2 more|arXiv (Cornell University)|Feb 18, 2023

Hate Speech and Cyberbullying Detection被引用数 4

ひとこと要約

本稿は、生のテキストを送信せずに分散ユーザーデータ上でモデルを学習することでプライバシーを強化するフェデレーテッドラーニング（FL）フレームワークを提案し、集中学習モデルよりも最大6.81%のF1スコア向上を達成した。この手法では、8つのベンチマークデータセットで5種類の多様なアーキテクチャを用いてFedProxおよびFedOptを適用し、プライバシー保護型学習が同時にモデルの頑健性と性能を向上させられることを示した。

ABSTRACT

Hate speech detection has been the subject of high research attention, due to the scale of content created on social media. In spite of the attention and the sensitive nature of the task, privacy preservation in hate speech detection has remained under-studied. The majority of research has focused on centralised machine learning infrastructures which risk leaking data. In this paper, we show that using federated machine learning can help address privacy the concerns that are inherent to hate speech detection while obtaining up to 6.81% improvement in terms of F1-score.

研究の動機と目的

• 集中学習による訓練がユーザーの機微なコンテンツを露呈するリスクを抱える中、この分野におけるプライバシー保護のギャップを埋めるため。
• フェデレーテッドラーニングが、訓練中にユーザーのデータを漏洩させることなく、モデル性能を維持または向上させられるかどうかを評価するため。
• さまざまなアーキテクチャ（例：Bi-LSTM、RoBERTa、FNet）を用いたフェデレーテッドラーニングの有効性を、複数のハートスピーチ検出ベンチマークで調査するため。
• HateCheck評価スイートを用いて、綴りの変化、代名詞の参照、悪意ある表現形態などの困難な状況下でのモデルの汎化性能を評価するため。
• プライバシーと性能のトレードオフを検討し、FLが性能の低下ではなく向上をもたらす可能性を示すため。

提案手法

• 本研究では、生データを送信せずにクライアント端末上でモデルを学習するフェデレーテッドラーニング（FL）を採用し、代わりにモデル重みの更新のみを共有する。
• 非IIDデータに対処し収束を改善するために、FedProxとFedOptという2つのFL最適化アルゴリズムを用い、特にFedProxは訓練の安定化を図るためのプロキシ正則化子を追加する。
• Bi-LSTM、FNet、DistilBERT、RoBERTa、その他の5種類の機械学習モデルをFLで学習させ、それらの集中学習版と比較する。
• 非IIDクライアントデータ分割を想定し、Vidgenら（2021年）のComb、Binary、マルチクラスデータセットを含む8つの公開可能なハートスピーチデータセットでフレームワークを評価する。
• F1スコアを測定し、29の機能的テスト（差別的表現、綴りの変化、反撃的スピーチ認識など）をカバーするHateCheckベンチマークを用いて頑健性を評価する。
• すべてのモデルはFedProxおよびFedOptを用いてFLで微調整され、複数ラウンドにわたる結果の集約を通じて収束性と安定性を評価する。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングは、ユーザーのプライバシーを保護しつつ、ハートスピーチ検出モデルのF1スコアを向上させることができるか？
• RQ2 HateCheckのような頑健性ベンチマークにおいて、FLベースのモデルは言語の悪意ある変化に対してどのように性能を示すか？
• RQ3 FedOpt や FedProx といった高度な FL 最適化手法を用いることで、標準的な FedAvg に比べて収束性と性能が向上するか？
• RQ4 FL で学習された場合、BERTベースのモデルと Bi-LSTM などのアーキテクチャは、性能と頑健性においてどのように比較されるか？
• RQ5 FL モデルは、非ハートスピーチ表現、反撃的スピーチ、および微妙なハートスピーチ形態に対し、どの程度汎化できるか？

主な発見

• フェデレーテッドラーニングモデルは、集中学習モデルに比べ最大6.81%のF1スコア向上を達成し、プライバシー保護型学習が性能向上をもたらす可能性を示した。
• FLで学習されたBi-LSTMおよびFNetモデルは、HateCheckの機能的テストで3〜5%の向上を示し、特に差別的表現や綴りの変化の検出において優れた性能を発揮した。
• RoBERTaおよびDistilBERTモデルはスラーや非ハートスピーチ的グループアイデンティティの検出で最も優れた性能を示した。これは、多様なテキストで大規模事前学習が行われたためと考えられる。
• すべてのモデル、特にフェデレーテッドモデルにおいても、反撃的スピーチ検出は性能が低く、ハートスピーチとそれらの応答を区別する課題が依然として存在することを示した。
• フェデレーテッドなDistilBERTおよびRoBERTaモデルは、HateCheckの一部のテストでわずかな性能低下（0.5〜1%）を示した。これは、大規模言語モデルがFLにおけるデータ分布のシフトにより敏感である可能性を示唆している。
• モデル更新漏洩のリスクは存在するが、全体的な結果からFLは、ハートスピーチ検出におけるより良いプライバシー保護とモデルの汎化性能向上の両立を実現する有効な道筋であることが示された。