[論文レビュー] Feature-Wise Bias Amplification

K. Rustan M. Leino, Emily Black+3 more|arXiv (Cornell University)|Dec 21, 2018

Machine Learning and Data Classification被引用数 10

ひとこと要約

この論文は、機械学習分類器における特徴別バイアス拡大を特定し、それを解決する。データ不足下で勾配降下法がやや予測力のある「弱い」特徴の重要性を過大評価することで、予測が歪む。著者らは、精度を損なわずにバイアスを低減する2つの特徴選択手法を提案し、CelebAでVGG16のような深層ネットワークにおいて最大98％のバイアス低減を達成した。

ABSTRACT

We study the phenomenon of bias amplification in classifiers, wherein a machine learning model learns to predict classes with a greater disparity than the underlying ground truth. We demonstrate that bias amplification can arise via an inductive bias in gradient descent methods that results in the overestimation of the importance of moderately-predictive "weak" features if insufficient training data is available. This overestimation gives rise to feature-wise bias amplification -- a previously unreported form of bias that can be traced back to the features of a trained model. Through analysis and experiments, we show that while some bias cannot be mitigated without sacrificing accuracy, feature-wise bias amplification can be mitigated through targeted feature selection. We present two new feature selection algorithms for mitigating bias amplification in linear models, and show how they can be adapted to convolutional neural networks efficiently. Our experiments on synthetic and real data demonstrate that these algorithms consistently lead to reduced bias without harming accuracy, in some cases eliminating predictive bias altogether while providing modest gains in accuracy.

研究の動機と目的

• 勾配降下法の弱い特徴に対するインダクティブバイアスが原因で生じる、これまで報告のなかった分類器におけるバイアス拡大の形式を特定すること。
• クラスの事前確率が偏っていない状況でもバイアス拡大が生じることを示し、クラス不均衡が唯一の原因であるという仮定に疑問を呈すること。
• モデルの精度を維持または向上させながら、特徴別バイアス拡大を緩和する特徴選択技術を開発すること。
• これらの手法が線形モデルおよび深層ニューラルネットワーク（例：CelebAにおけるVGG16）において、実世界のデータセットでも有効であることを示すこと。

提案手法

• 勾配降下法が、訓練データが不足している状況で、やや予測力がある非対称な特徴の重要性を過大評価することで生じる、特徴別バイアス拡大という新しいバイアス形式を提案する。
• 2つの特徴選択アルゴリズムを導入する：(1) 特徴パラティーション法（特徴のクラス間寄与度を均衡化）；(2) 影響指向型エキスパート選択法（人間のフィードバックを活用してバイアスのある特徴を特定・削除）。
• VGG16などのモデルの最終全結合層に特徴選択手法を適用することで、深層ネットワークに適応させる。この層を特徴抽出器からの特徴の上での線形分類器として扱う。
• エキスパートベース選択のためのハイパーパrameter（α, β）をグリッドサーチで最適化し、ベースライン比較のためのℓ1正則化を用いる。バイアス低減を最適化しながら精度の損失を防ぐ。
• 合成データおよび実データセット（例：CelebA, arcene, 前立腺がん）を用い、SGDで訓練されたロジスティック回帰およびディープラーニングモデル（例：VGG16）を用いて手法を評価する。
• 予測の歪み（クラス事前確率との相対的ずれ）をバイアス拡大の指標として用い、ストラティファイドスプリットにおける標準的指標で精度を評価する。

実験結果

リサーチクエスチョン

• RQ1 クラス不均衡が存在しない状況でもバイアス拡大が生じ得るか？ もし可能なら、その背後にあるメカニズムは何か？
• RQ2 勾配降下法のインダクティブバイアスは、データが少ない状況下で、弱くやや予測力のある特徴の重要性をどの程度拡大させるか？
• RQ3 特徴選択は、モデル精度を低下させることなく特徴別バイアス拡大を緩和できるか？
• RQ4 従来のℓ1正則化と比較して、提案手法の特徴選択法は深層ニューラルネットワークにおいてどの程度有効か？

主な発見

• クラス事前確率が偏っていない状況でも、データ不足下で勾配降下法が弱い特徴を過大評価することで、特徴別バイアス拡大が生じる。
• 前立腺がんデータセットでは、影響指向型エキスパート法が90％の精度を達成しながらバイアスを80％低減し、元のモデルに比べて顕著な改善を示した。
• CelebAデータセットでは、VGG16モデルのバイアスが7.7％から0.2％にまで低下（98％の低減）し、精度はわずか0.3％の上昇にとどまった。予測バイアスはほぼ完全に排除された。
• 影響指向型エキスパート法は、すべてのデータセット、特に深層ネットワークにおいて、ℓ1正則化を上回るバイアス低減効果と精度維持性を示した。
• 特徴パラティーション法はほとんどのケースでバイアスと精度を改善したが、深層ネットワークでは元々の特徴の非対称性が低いため、効果が限定的であった。
• 提案手法は、線形モデルおよび深層モデルの両方で、ℓ1正則化よりも一般化誤差をより効果的に低減した。これは、より広範なロバストネスを示している。