[論文レビュー] Estimating and Improving Fairness with Adversarial Learning

Xiaoxiao Li, Ziteng Cui+3 more|arXiv (Cornell University)|Mar 7, 2021

Adversarial Robustness in Machine Learning参考文献 25被引用数 18

ひとこと要約

本論文は、深層学習を用いた医療画像解析における偏見の低減と公平性の予測を同時に実現する敵対的マルチタスク学習フレームワークを提案する。正規直交性正則化を用いて偏見同定モジュールと公平性が重要なモジュールを同時に学習させることで、性別、年齢、肌色などのデモグラフィック要因に起因する偏見を低減しつつ、感受性属性へのアクセスがなくても公平性の高い性能推定が可能となり、皮膚腫瘍データセットにおいて最先端の公平性向上を達成した。

ABSTRACT

Fairness and accountability are two essential pillars for trustworthy Artificial Intelligence (AI) in healthcare. However, the existing AI model may be biased in its decision marking. To tackle this issue, we propose an adversarial multi-task training strategy to simultaneously mitigate and detect bias in the deep learning-based medical image analysis system. Specifically, we propose to add a discrimination module against bias and a critical module that predicts unfairness within the base classification model. We further impose an orthogonality regularization to force the two modules to be independent during training. Hence, we can keep these deep learning tasks distinct from one another, and avoid collapsing them into a singular point on the manifold. Through this adversarial training method, the data from the underprivileged group, which is vulnerable to bias because of attributes such as sex and skin tone, are transferred into a domain that is neutral relative to these attributes. Furthermore, the critical module can predict fairness scores for the data with unknown sensitive attributes. We evaluate our framework on a large-scale public-available skin lesion dataset under various fairness evaluation metrics. The experiments demonstrate the effectiveness of our proposed method for estimating and improving fairness in the deep learning-based medical image analysis system.

研究の動機と目的

• 深層学習を用いた医療画像解析における偏見低減と公平性の責任体制の欠如に対処すること。
• 推論時に感受性属性を明示的にアクセスしない状況でも、モデルの予測における偏見を検出・低減する手法を開発すること。
• 敵対的学習によって訓練された重要なモジュールを用いて、展開済みモデルのリアルタイムな公平性推定を可能にすること。
• マルチタスク学習における正規直交性正則化により、公平性と偏見検出タスクが独立したままであることを保証すること。
• 信頼性のあるAIを医療分野に実装するための実用的で一般化可能なソリューションを提供し、公平性の向上とモデルの責任体制の両立を実現すること。

提案手法

• 共有の特徴エンコーダ、偏見同定ヘッド、公平性が重要な予測ヘッドを備えたマルチタスク敵対的学習フレームワークを導入する。
• 感受性属性（例：性別、肌色）に基づいて優遇・非優遇のサンプルを区別するためのディスクラミネーター・ヘッドを採用する。
• 感受性属性や正解ラベルの知識が不要な状態で、入力データの公平性スコア（例：SPD、EOD、AOD）を予測するためのクリティカルモジュールを訓練する。
• 2つのヘッドの勾配に正規直交性正則化を適用し、偏見検出タスクと公平性予測タスクの独立性を強制する。
• 分類用と公平性推定用の2本のブランチを持つネットワークを採用し、畳み込み特徴を共有し、分離された全結合ヘッドを備える。
• 偏見ディスクラミネーターではシグモイド活性化関数を、クリティカルモジュールの公平性スコア予測ではバッチ単位の平均化を用いる。

実験結果

リサーチクエスチョン

• RQ1 感受性属性へのアクセスがなくても、敵対的学習を用いて医療画像分類における偏見低減と公平性推定を同時に実現できるか？
• RQ2 正規直交性正則化は、偏見検出タスクと公平性予測タスクの独立性を維持するためにどの程度有効か？
• RQ3 提案フレームワークは、皮膚腫瘍分類においてSPD、EOD、AODといった公平性指標をどの程度低減できるか？
• RQ4 感受性属性が不明な状態でも、クリティカルモジュールは未学習の推論データの公平性スコアを正確に予測できるか？
• RQ5 公平性の向上を図る一方で、分類性能は保持または向上させることが可能か？

主な発見

• 正規直交性正則化を適用した本手法（'Ours w/ 𝒪𝑟𝑡ℎ'）は、ヴァニラモデルと比較して顕著に低い公平性スコア（SPD: 0.019、EOD: 0.014、AOD: 0.113）を達成し、優れた偏見低減効果を示した。
• 正規直交性正則化を適用しない場合（'Ours w/o 𝒪𝑟𝑡ℎ'）は、公平性スコアが高くなる（SPD: 0.25–0.38）ことから、正則化が効果的な偏見低減に不可欠であることが示された。
• 正規直交性正則化を適用したクリティカルモジュールは、予測されたSPDスコアと正解値との間にピアソン相関係数0.85を達成し、正確な公平性推定が可能であることを裏付けた。
• 分類性能はヴァニラベースラインと同等またはわずかに向上しており、性能のトレードオフが顕著にないことが示された。
• 正規直交性正則化を適用した場合、特に性別や肌色の属性において、予測された公平性スコアが正解値に非常に近づいた一方で、正則化なしの予測は系統的に過大評価されていた。
• 勾配の正規直交性によって強制された独立性のおかげで、公平性予測と偏見検出が有効に分離されたことが実証され、より信頼性の高い公平性推定が可能になった。