[論文レビュー] Adversarial Removal of Demographic Attributes from Text Data

Yanai Elazar, Yoav Goldberg|arXiv (Cornell University)|Aug 20, 2018

Topic Modeling参考文献 32被引用数 10

ひとこと要約

この論文は、ニューラルネットワーク内のテキスト表現から、性的特徴（性別、人種、年齢）などのデモグラフィック属性を除去するための adversarial training の有効性を調査している。adversarial training によって属性の予測可能性が低下したものの、後続の分類器は依然として符号化された表現からデモグラフィック情報を正確に回復できることから、adversarial performance だけでは、テキストデータにおける真のデモグラフィック不変性を信頼できる指標として用いることはできないことが明らかになった。

ABSTRACT

Recent advances in Representation Learning and Adversarial Training seem to succeed in removing unwanted features from the learned representation. We show that demographic information of authors is encoded in -- and can be recovered from -- the intermediate representations learned by text-based neural classifiers. The implication is that decisions of classifiers trained on textual data are not agnostic to -- and likely condition on -- demographic attributes. When attempting to remove such demographic information using adversarial training, we find that while the adversarial component achieves chance-level development-set accuracy during training, a post-hoc classifier, trained on the encoded sentences from the first part, still manages to reach substantially higher classification accuracies on the same data. This behavior is consistent across several tasks, demographic properties and datasets. We explore several techniques to improve the effectiveness of the adversarial component. Our main conclusion is a cautionary one: do not rely on the adversarial training to achieve invariant representation to sensitive features.

研究の動機と目的

• テキストベースのニューラル分類器の中間表現に、性別、人種、年齢などのデモグラフィック属性が符号化されているかどうかを調査すること。
• 学習済み表現からこのようなデモグラフィック情報を除去するために、adversarial training の有効性を評価すること。
• 敵対的コンponent の性能が、保護された属性の完全な除去を示す信頼できる指標であるかどうかを評価すること。
• テキスト表現におけるデモグラフィック不変性を達成するための adversarial training の効果を高める手法を検討すること。
• 公平性を重視する文脈において、adversarial training に盲信するのを避けるべきであり、表現の不変性を外部から検証する必要があるという主張をすること。

提案手法

• モデルは2ストリームアーキテクチャを採用している：入力テキスト x を表現ベクトル h_x にマッピングするエンコーダ h(x) に続き、主タスク用のメイン分類器 c(h(x)) と、保護属性 z を予測するための敵対的分類器 adv(h(x)) が続く。
• 敵対的訓練では、主タスクの正確性と敵対的失敗の両方を同時に最適化する。勾配逆転法を用いて、エンコーダは主タスクの損失を最小化すると同時に、敵対的分類器の損失を最大化するように訓練される。
• 勾配逆転層（GRL）は、バックプロパゲーション中に敵対的分類器からの勾配を −λ 倍することで、逆方向の勾配を生成し、両者の目的が逆向きになるようにする。
• 後続の分類器を符号化された表現上で学習させ、adversarial training 後にデモグラフィック情報が残っているかどうかを評価する。
• 複数のデータセットとデモグラフィック属性（性別、人種、年齢）を用いた実験を行い、敵対的性能と後続分類器の正確性を比較する。
• モデル容量、敵対的分類器の重み、アンサンブル手法を用いて、敵対的頑健性と表現不変性の向上を検討する。

実験結果

リサーチクエスチョン

• RQ1 性別、人種、年齢などのデモグラフィック属性は、関連のないタスクに訓練されたテキスト分類器の中間表現にどの程度符号化されているか？
• RQ2 敵対的訓練が、敵対的分類器の性能で測定した場合、テキスト表現からデモグラフィック情報を効果的に除去しているか？
• RQ3 敵対的コンponent がうまく機能している場合でも、符号化された表現上で学習された後続分類器が、依然としてデモグラフィック属性を正確に予測できるか？
• RQ4 敵対的訓練の設定（容量、重み、アンサンブル化など）にどのような変更を加えると、デモグラフィック信号の除去が向上するか？
• RQ5 敵対的コンponent の性能は、表現における真のデモグラフィック不変性を信頼できる指標として使えるか？

主な発見

• 性別、人種、年齢などのデモグラフィック属性は、トレーニングデータがバランスされており、主タスクが関連のないものであっても、テキスト分類器の中間表現に顕著に符号化されている。
• 開発セットで偶数の正確性に達したにもかかわらず、敵対的コンponent はデモグラフィック情報を完全に除去できず、後続分類器は顕著に高い正確性（例：性別で 75.3%、人種で 65.4%、年齢で 58.1%）を達成している。
• 敵対的分類器の訓練中の性能は、真の不変性を示す信頼できる指標ではない。外部からの検証として、後続の攻撃者（post-hoc attacker）による検証が不可欠である。
• 敵対的分類器の容量や重みのチューニング、複数の敵対的分類器のアンサンブル化により性能は向上するが、依然として残留するデモグラフィック情報は完全に除去されない。
• どの手法も、すべてのデータセットと属性において一貫して完全な除去を達成するとは限らない。これは、adversarial training がこのタスクにおいて根本的な限界を有することを示している。
• 本研究は、adversarial training がテキスト表現におけるデモグラフィック不変性を達成するための単独の手法として信頼できるものではないと結論づけた。