[論文レビュー] Tackling Algorithmic Bias in Neural-Network Classifiers using Wasserstein-2 Regularization

Laurent Risser, Sanz, Alberto Gonzalez+2 more|arXiv (Cornell University)|Aug 15, 2019

Explainable Artificial Intelligence (XAI)被引用数 5

ひとこと要約

本稿では、感受性変数に基づく感受性サブグループ間の予測誤差の差異を罰則することで、ニューラルネットワーク画像分類器におけるアルゴリズム的バイアスを低減するための Wasserstein-2 正則化手法を提案する。本手法はアーキテクチャに依存せず、大規模データセットにもスケーラブルに適用可能であり、Gâteaux微分を用いて公平性制約を効率的にバックプロパゲートすることで、最適に調整された場合に顕著に向上した公平性（DI > 0.8）を達成しつつ、精度の損失を最小限に抑える。

ABSTRACT

The increasingly common use of neural network classifiers in industrial and social applications of image analysis has allowed impressive progress these last years. Such methods are however sensitive to algorithmic bias, i.e. to an under- or an over-representation of positive predictions or to higher prediction errors in specific subgroups of images. We then introduce in this paper a new method to temper the algorithmic bias in Neural-Network based classifiers. Our method is Neural-Network architecture agnostic and scales well to massive training sets of images. It indeed only overloads the loss function with a Wasserstein-2 based regularization term for which we back-propagate the impact of specific output predictions using a new model, based on the Gateaux derivatives of the predictions distribution. This model is algorithmically reasonable and makes it possible to use our regularized loss with standard stochastic gradient-descent strategies. Its good behavior is assessed on the reference Adult census, MNIST, CelebA datasets.

研究の動機と目的

• 感受性サブグループ間で系統的にずれが生じる画像認識タスクにおける深層ニューラルネットワーク分類器のアルゴリズム的バイアスを是正すること。
• 任意のニューラルネットワークアーキテクチャと整合可能で、大規模画像データセットにも効率的にスケーリング可能な公平性正則化手法を開発すること。
• 予測分布の Gâteaux 微分を用いた新たな勾配近似により、公平性制約を効果的にバックプロパゲートすること。
• ベンチマークデータセット（Adult、MNIST、CelebA）を用いた実証的検証を行い、予測性能の著しい低下を伴わずに公平性を向上させること。

提案手法

• 感受性変数によって定義される2つのサブグループ間の予測誤差分布の Wasserstein-2 距離に基づく公平性ペナルティ項を導入する。
• Wasserstein-2 ペナルティの勾配を解析的に近似するために Gâteaux 微分を用い、確率的勾配降下法における効率的なバックプロパゲートを実現する。
• 標準的な損失関数に、感受性サブグループ間で類似した予測誤差を促進する重み付き正則化項を追加する。
• 大規模データセットでの学習中に計算効率を維持するために、Wasserstein-2 距離のミニバッチ推定を採用する。
• 二値分類および多値分類タスクへの適用を実施し、将来の課題として回帰および非二値出力への拡張を検討する。
• 公平性指標（Disparity Index (DI) および Mean Squared Error (MSE)）を用いて、CelebA、MNIST、Adult データセットにおける手法の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 標準的な深層学習学習パイプラインに、Wasserstein-2 を用いた正則化項を効果的に統合できるか。
• RQ2 提案手法は、DI で測定される公平性と MSE で測定される予測精度の両面で、感受性サブグループ間でどのようにバランスを取るか。
• RQ3 数百万件のサンプルを含む大規模画像データセットに適用した場合、本手法がスケーラビリティと効率性をどの程度維持できるか。
• RQ4 正則化重み λ の選択が、公平性とモデル精度のトレードオフにどのように影響するか。
• RQ5 本手法は、顔貌属性における人種的・年代的不均衡といった、元のデータ分布と整合した一貫性があり解釈可能な公平性の改善を生み出せるか。

主な発見

• 正則化重み λ が [3.5e-3, 5.5e-3] の範囲に設定された場合、本手法は予測精度の損失を最小限に抑えつつ、Disparity Index (DI) が 0.8 を上回る高い公平性を達成する。
• λ > 6e-3 の場合、モデルが不安定化し、MSE が上昇し、公平性指標が変動するため、最適なトレードオフの範囲が存在することが示された。
• λ ≈ 4.5e-3 の場合、公平性が確保された結果（DI > 0.8）が得られるが、MSE が高くなるため、精度を犠牲にして公平性を優先する場合の性能的トレードオフが確認された。
• 正則化は予測の再重み付けを効果的に実現しており、年配のグループにおける眼鏡の有無や濃い肌色の被写体に対して、スコアを上方に修正する傾向を示しており、トレーニングデータの分布と整合している。
• λ > 5e-3 の場合、良好な予測の割合（GP0/GP1）は 1 に近づくため、サブグループ間での誤差率がバランスしていることが示された。
• 本手法は、年齢層の高いグループで眼鏡の頻度が高く、男性の割合が高いといった、デモグラフィックの不均衡を是正することで、CelebA データセットにおけるバイアスを効果的に低減した。