[論文レビュー] Perturbation Augmentation for Fairer NLP

Rebecca Qian, Candace Ross+4 more|arXiv (Cornell University)|May 25, 2022

Topic Modeling被引用数 4

ひとこと要約

本稿では、98,000件のデモグラフィックテキストの変更を含む大規模な人間アノテートデータセット（PANDA）を用いて訓練されたニューラル摂動モデルを紹介し、NLPにおける公平性を向上させる。デモグラフィック属性の交換（例：'women' を 'men' に）による訓練データの拡張により、事前学習（FairBERTa）および微調整（fairtuning）段階でモデルの公平性が向上し、性能の低下を伴わずに実現された。その有効性は、デモグラフィック摂動に対する耐性を測る新しい指標、fairscore によって検証された。

ABSTRACT

Unwanted and often harmful social biases are becoming ever more salient in NLP research, affecting both models and datasets. In this work, we ask whether training on demographically perturbed data leads to fairer language models. We collect a large dataset of human annotated text perturbations and train a neural perturbation model, which we show outperforms heuristic alternatives. We find that (i) language models (LMs) pre-trained on demographically perturbed corpora are typically more fair, and (ii) LMs finetuned on perturbed GLUE datasets exhibit less demographic bias on downstream tasks, and (iii) fairness improvements do not come at the expense of performance on downstream tasks. Lastly, we discuss outstanding questions about how best to evaluate the (un)fairness of large language models. We hope that this exploration of neural demographic perturbation will help drive more improvement towards fairer NLP.

研究の動機と目的

• 訓練データに反映され、悪影響を及ぼす可能性のある社会的バイアスに関するNLPモデルにおける懸念が高まっていることを踏まえ、その問題に取り組む。
• ルールベースのデモグラフィック摂動手法には、硬直的で自然なテキストを生成できないという限界があるため、それを克服する。
• 大規模な人間アノテート済みデモグラフィックテキスト摂動データセットを用いて訓練されたニューラルで制御可能な摂動モデルの開発。
• デモグラフィックデータ拡張が、言語モデルの事前学習および微調整段階における公平性に与える影響を評価する。
• fairscore を提案する。これは、NLUタスク全体にわたり、デモグラフィック摂動に対する耐性としての公平性を測る、新たな外部指標である。

提案手法

• 多様なデモグラフィック軸（例：性別、人種）にわたる98,000件のヒューマン生成デモグラフィック摂動をアノテートし、PANDAデータセットを構築する。
• デモグラフィック用語をターゲット属性に置き換えることで、高品質で意味が保持された摂動を生成するため、系列対系列のニューラルモデル（摂動モデル）を訓練する。
• 摂動例を含む拡張されたコーパスを用いて事前学習を行うことで、デモグラフィックバイアスを低減する大規模言語モデル（FairBERTa）を訓練する。
• 既存のモデルを、摂動拡張GLUEデータセット上で、『fairtuning』と呼ばれる手法を用いて微調整し、下流タスクにおける公平性を向上させる。
• 元の入力と摂動された入力の間でのモデル予測の変化を計算することで、デモグラフィックシフトに対する耐性を定量化する外部公平性指標であるfairscoreを提案する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルデモグラフィック摂動は、性能の低下を伴わずに事前学習済み言語モデルの公平性を向上させることができるか？
• RQ2 摂動拡張データセット上で微調整すること（fairtuning）は、下流NLUタスクにおけるデモグラフィックバイアスの低減に寄与するか？
• RQ3 提案されたfairscore指標は、多様なNLPタスクにわたり、デモグラフィック摂動に対する耐性としての公平性を効果的に測定できるか？
• RQ4 標準的なNLUデータセットにおいて、デモグラフィック摂動が元の正解ラベルをどの程度変更するか？
• RQ5 大規模で人間アノテート済みの摂動データセット（PANDA）は、ヒューリスティックなルールベースシステムに比べ、より高品質なニューラル摂動モデルの訓練を可能にするか？

主な発見

• デモグラフィック摂動を施したコーパスで事前学習された言語モデル（例：FairBERTa）は、下流タスクにおいて顕著に公平性が向上しており、性能の低下は見られない。
• 摂動拡張GLUEデータセット上で微調整されたモデル（fairtuning）は、元の未摂動データで微調整されたモデルと比較して、平均的により公平である。
• 人間評価により、神経摂動モデルはヒューリスティックな代替手法に比べ、自然で意味が保持された摂動をより効果的に生成していることが検証された。
• fairscore指標は、デモグラフィック摂動に対する耐性としての公平性を効果的に定量化できており、複数のGLUEタスクにおいてfairtuning後に顕著な改善が見られた。
• パイロット検証の結果、1タスクあたり平均25例中4〜5例（約16〜20％）が摂動後にラベルの不一致を示したにとどまり、ラベル不変性の核心的仮定が大多数のケースで成立していることが示された。
• 本研究では、ニューラルデモグラフィック摂動によるデータレベルの拡張が、NLPモデルのバイアス低減に実用的かつ効果的な戦略であることが示された。