[論文レビュー] Fairness and Robustness in Invariant Learning: A Case Study in Toxicity Classification

Robert Adragna, Elliot Creager+2 more|arXiv (Cornell University)|Nov 12, 2020

Domain Adaptation and Few-Shot Learning被引用数 12

ひとこと要約

この論文は、不変リスク最小化（IRM）—ドメイン一般化手法—が、感受性属性に関連する誤った相関関係に対して頑健な予測子を学習することで、毒性分類における公平性を向上させられるかどうかを調査している。IRMは、コメント長を不変予測子として特定することで、分布外の精度とグループの公平性の両面で、経験的リスク最小化（ERM）を上回るが、真の因果的特徴を学習するわけではない。

ABSTRACT

Robustness is of central importance in machine learning and has given rise to the fields of domain generalization and invariant learning, which are concerned with improving performance on a test distribution distinct from but related to the training distribution. In light of recent work suggesting an intimate connection between fairness and robustness, we investigate whether algorithms from robust ML can be used to improve the fairness of classifiers that are trained on biased data and tested on unbiased data. We apply Invariant Risk Minimization (IRM), a domain generalization algorithm that employs a causal discovery inspired method to find robust predictors, to the task of fairly predicting the toxicity of internet comments. We show that IRM achieves better out-of-distribution accuracy and fairness than Empirical Risk Minimization (ERM) methods, and analyze both the difficulties that arise when applying IRM in practice and the conditions under which IRM will likely be effective in this scenario. We hope that this work will inspire further studies of how robust machine learning methods relate to algorithmic fairness.

研究の動機と目的

• 偏ったデータで訓練されたモデルにおける公平性を向上させるために、IRMのような頑健な機械学習手法が有効かどうかを検討すること。
• 感受性属性が毒性と誤った相関関係にある場合に、環境間での不変性が、毒性分類における公平性の向上に寄与するかどうかを評価すること。
• IRMが真の因果的予測子を学習する際の実用的限界と、環境の多様性が不変特徴の発見をどのように促進するかを調査すること。
• コメント長が多様なドメイン全体で、公平かつ頑健な毒性予測の代理指標として機能するかどうかを評価すること。

提案手法

• 著者らは、文化的要因の言及と毒性の間で誤った相関関係を持つ偏った複数の環境を用いて、Civil Commentsデータセットに不変リスク最小化（IRM）を適用した。
• IRMは、異なる訓練環境において一貫したパフォーマンスを維持する予測子を学習し、予測行動の不変性を目的としている。
• 本手法は、データ拡張や埋め込み方式（例：FastText語彙埋め込みの和または平均）を変更した状況下で、標準的な経験的リスク最小化（ERM）と比較した。
• 埋め込み手法を用いてコメント長の役割を分離した：EmbedSumは長さ情報を保持するが、EmbedMeanはそれを破棄するため、特徴の不変性に関するアブレーションスタディが可能になった。
• パフォーマンスは、分布内（InD）および分布外（OOD）のテストセットで評価され、公平性は文化的アイデンティティごとに測定された。
• アブレーションスタディでは、ERMとIRMの間で、異なる埋め込み設定下でのモデルの正確性と公平性指標を比較し、不変特徴の寄与を特定した。

実験結果

リサーチクエスチョン

• RQ1 IRMが偏った訓練環境において不変予測子を学習することで、毒性分類における公平性を向上させられるか？
• RQ2 コメント長が多様なドメイン全体で、不変的かつ公平な毒性予測子としてどの程度機能するか？
• RQ3 感受性属性が毒性と誤った相関関係にある場合、なぜIRMは精度と公平性の両面でERMを上回るのか？
• RQ4 IRMが意味のある不変特徴を学習できない条件は何か？また、環境の多様性はそのプロセスにどのような役割を果たすか？
• RQ5 不変特徴が結果の因果的要因でない場合でも、モデル行動の不変性を公平性と同一視できるのか？

主な発見

• IRMはEmbedSum埋め込みを用いて、OODテストセットで62.3％の分布外精度を達成し、ERMの56.5％を顕著に上回った。
• EmbedMeanを用いた場合、ERMのOODセットでのパフォーマンスは12.0％に低下し、新しい環境で消失する誤った相関関係に依存していることが示された。
• EmbedMeanを用いた場合、IRMはInDおよびOOD両方のセットで50.0％の正確性を達成した。これは、長さ情報が失われた場合に不変特徴を学習できないことを確認した。
• IRMとERMのOODデータにおけるパフォーマンス差は、IRMの不変性が頑健性および公平性の向上に起因していることを裏付けた。
• コメント長（EmbedSumで符号化）が主な不変特徴として浮き彫りになり、これは多様なドメイン全体で毒性予測の頑健な代理指標であると考えられる。
• IRMの成功にもかかわらず、真の因果的特徴を学習していない—コメント長は予測可能ではあるが、毒性の原因ではない—これは、不変性を因果性の代理として用いる際の主要な限界を示している。