[論文レビュー] A Neighbourhood Framework for Resource-Lean Content Flagging

Sheikh Muhammad Sarwar, Dimitrina Zlatkova+4 more|arXiv (Cornell University)|Mar 31, 2021

Hate Speech and Cyberbullying Detection参考文献 40被引用数 5

ひとこと要約

本稿では、新しいリソース効率的でクロスリンガルなコンテンツフラグリングフレームワークである $k$NN+ を提案する。このフレームワークは、クエリと近傍の相互作用特徴を用いたトランスフォーマー基盤のk近傍法学習を採用し、再訓練を伴わずに新しいラベルが追加された場合でも、低リソース言語における悪意ある言語検出を向上させる。ラベルの一貫性を意味的表現空間で学習することで、強力なベースライン比に最大9.5のF1スコア上昇を達成する。

ABSTRACT

We propose a novel framework for cross-lingual content flagging with limited target-language data, which significantly outperforms prior work in terms of predictive performance. The framework is based on a nearest-neighbour architecture. It is a modern instantiation of the vanilla k-nearest neighbour model, as we use Transformer representations in all its components. Our framework can adapt to new source-language instances, without the need to be retrained from scratch. Unlike prior work on neighbourhood-based approaches, we encode the neighbourhood information based on query--neighbour interactions. We propose two encoding schemes and we show their effectiveness using both qualitative and quantitative analysis. Our evaluation results on eight languages from two different datasets for abusive language detection show sizable improvements of up to 9.5 F1 points absolute (for Italian) over strong baselines. On average, we achieve 3.6 absolute F1 points of improvement for the three languages in the Jigsaw Multilingual dataset and 2.14 points for the WUL dataset.

研究の動機と目的

• 限られたアノテート済みトレーニングデータしか利用できない低リソース言語における悪意ある言語検出の課題に対処すること。
• 新しいラベルが追加された場合でもモデルの再訓練を必要とせず、高リソース言語から低リソース言語への効果的なクロスリンガル転送を可能にすること。
• ヒューリスティックな混合や逐次的ファインチューニングよりも、ソースとターゲットデータセット間の関係をより体系的にモデル化すること。
• 動的ラベルスペースの適応をサポートし、近傍の影響を可視化することで解釈可能な予測を提供するフレームワークの開発。

提案手法

• フレームワークは、事前に計算された近傍埋め込みと、トランスフォーマーによるランタイムでのクエリエンコードを用いたk近傍法アーキテクチャを採用する。
• クエリと近傍表現間の相互作用特徴を、クロスエンコーダまたはバイエンコーダアーキテクチャを用いて計算し、クエリ-近傍相互作用をモデル化する。
• 自己注意メカニズムを用いて、すべての近傍における相互作用特徴を統合し、分類のための文脈に適した近傍表現を形成する。
• 対照的ラベル損失 ($\mathcal{L}_{cll}$) とラベル一貫性損失 ($\mathcal{L}_{lal}$) を組み合わせたマルチタスク損失を用いてモデルを訓練し、意味的類似性とラベル類似性を一致させる。
• 2つのバリエーションを提案する：CE $k$NN+（クエリ-近傍入力を連結）とBE $k$NN+（別々のエンコーディング）。BE $k$NN+は効率性に優れ、同等の性能を発揮する。
• フレームワークはXLM-RoBERTaとLaBSEを用いて文の埋め込みを生成し、再訓練を伴わず新しいラベルへの段階的適応をサポートする。

実験結果

リサーチクエスチョン

• RQ1 クエリ-近傍相互作用を学習するk-NNベースのフレームワークは、低リソースでクロスリンガルな悪意ある言語検出において、強力なベースラインを上回ることができるか？
• RQ2 相互作用特徴を通じてラベル一貫性をモデル化することで、標準的なファインチューニングやデータ混合アプローチと比較して、性能がどのように向上するか？
• RQ3 再訓練を伴わず、ソースデータセットに新しいラベルが追加された場合、フレームワークはどの程度適応可能か？
• RQ4 バイエンコーダバリエーションは、マルチリンガル環境下で推論効率を向上させつつ、性能を維持できるか？
• RQ5 学習された表現空間は、複数の言語でフラグ付きと非フラグ付きコンテンツを区別するのにどの程度効果的か？

主な発見

• $k$NN+フレームワークは、イタリア語において最大9.5のF1スコア上昇を達成し、Jigsaw Multilingualデータセットでは平均3.6のF1スコア上昇、WULデータセットでは2.14のF1スコア上昇を記録した。
• SRC事前学習を施したBE $k$NN+は、マルチリンガル環境下でCE $k$NN+を上回る性能を発揮しており、これは訓練データ量の増加に起因すると考えられる。
• BE $k$NN+の表現空間を用いた近傍の再ランク付けは、LaBSE埋め込みよりも全k値において性能向上をもたらし、F1スコアに一貫した上昇をもたらした。
• モデルは、誤ったラベルが付与された近傍に対しても頑健である。トレーニング中にそれらを低減または無視するように学習する。
• ラベル一貫性損失の最適なマルチタスク損失重み $\lambda$ は0.7であり、この値を超えて重みを増加させると性能が低下した。
• 学習された表現空間は、フラグ付きとニュートラルなコンテンツを効果的に分離しており、フラグ付きとニュートラルな例の間で負のコサイン類似度を割り当てた。