[論文レビュー] EnD: Entangling and Disentangling deep representations for bias correction

Enzo Tartaglione, Carlo Alberto Barbano+1 more|arXiv (Cornell University)|Mar 2, 2021

Adversarial Robustness in Machine Learning参考文献 45被引用数 75

ひとこと要約

本稿では、ネットワーク層における情報ボトルネックを用いて、同じターゲットクラスに属する特徴をくわえる一方で、同じバイアスラベル（例：データの出どころや年齢層）を共有する特徴を分離することで、深層ニューラルネットワークにおけるバイアスを是正する正則化手法EnDを提案する。この手法は追加の学習コストを伴わず、アンビエイドテストセットにおける一般化性能を向上させ、IMDBおよびCORDA-CDSSのCOVID-19 CXR分類において、バイアスが強いデータセットで最先端の性能を達成する。

ABSTRACT

Artificial neural networks perform state-of-the-art in an ever-growing number of tasks, and nowadays they are used to solve an incredibly large variety of tasks. There are problems, like the presence of biases in the training data, which question the generalization capability of these models. In this work we propose EnD, a regularization strategy whose aim is to prevent deep models from learning unwanted biases. In particular, we insert an "information bottleneck" at a certain point of the deep neural network, where we disentangle the information about the bias, still letting the useful information for the training task forward-propagating in the rest of the model. One big advantage of EnD is that we do not require additional training complexity (like decoders or extra layers in the model), since it is a regularizer directly applied on the trained model. Our experiments show that EnD effectively improves the generalization on unbiased test sets, and it can be effectively applied on real-case scenarios, like removing hidden biases in the COVID-19 detection from radiographic images.

研究の動機と目的

• 医療画像のような実世界の応用分野において、訓練データの隠れたバイアスによって引き起こされるモデルの一般化不能性の問題に対処すること。
• データを変更したり、モデルにトレーナブルなコンponentsを追加したりせずに、バイアスを是正する正則化戦略を開発すること。
• データの出どころや人口統計的属性といったバイアス要因に関連する誤った相関に依存するのを防ぐことで、深層モデルがタスクに必要な特徴を学習できるようにすること。
• COVID-19のチ胸レントゲン画像からの診断を含む、極めてバイアスの強いデータセットや実世界のシナリオにおいて、有効性を実証すること。
• 訓練後に適用可能な後処理的・モデルに依存しない正則化技術を提供し、バイアスの拡散を緩和すること。

提案手法

• 訓練済みの深層ニューラルネットワークの特定の層Γに正則化子を適用し、情報ボトルネックを構築する。
• 同じターゲットクラスに属するサンプルの深層特徴表現をくっつけることで、タスクに必要な情報を保持する。
• 同じバイアスラベル（例：データの出どころや年齢層）を共有するサンプルの深層特徴表現を分離することで、誤った相関を抑制する。
• 標準的なバックプロパゲーションにより正則化子を最適化し、追加の学習や補助モデルを必要としない。
• バイアス付き特徴と最終予測の相互情報量を最小化するように正則化子を活用し、バイアスのない表現を優遇する。
• 訓練中に損失関数に正則化子を統合することで、モデルがバイアス付き特徴を避けるように学習しつつ、主タスクの性能を維持できるようにする。

実験結果

リサーチクエスチョン

• RQ1 タスクに必要な表現を保持しつつ、バイアス関連の特徴を分離できる正則化子を設計できるか？
• RQ2 再トレーニングやデータ変更を要せず、EnD手法がアンビエイドテストセットにおけるモデルの一般化性能を向上させられるか？
• RQ3 データの出どころや医療画像における画像アーチファクトのように、バイアスが明示的に分からない状況でも、EnDはバイアス是正に効果的か？
• RQ4 実世界の極めてバイアスの強い状況において、敵対的訓練や特徴の逆方向推定といった従来のバイアス是正手法を上回る性能をEnDが示せるか？
• RQ5 EnDにより、Grad-CAMのようなビジョンモデルのアテンションマップが、関連する解剖学的領域に集中するようになり、より頑健かつ解釈可能になるか？

主な発見

• IMDB Faceデータセットでは、EnDによりEB1でトレーニングした場合、EB1テストセットにおける性別の予測精度が57.84%から69.40%に向上し、EB2テストセットでは59.86%から65.49%に向上し、ベースラインおよび先行手法を上回った。
• 年齢予測のタスクでは、EB2でトレーニングした場合、EB1テストセットにおける性能が48.91%から74.25%に向上し、性別に基づくバイアスの緩和が顕著に確認された。
• CORDA-CDSSデータセットでは、真陰性率が59.26%から76.30%に、バランス精度が64.63%から72.22%に向上し、データソースバイアスが低減した。
• CORDA-SLGでは、真正陽性率が52.14%から68.37%に、バランス精度が69.88%から75.94%に向上し、異なるデータソース間での耐性が向上した。
• Grad-CAMの可視化により、EnD正則化済みモデルは関連する肺領域に注目しているのに対し、ヴァニラモデルは関係のないアーチファクトに注目していることが確認され、解釈性の向上が示された。
• 特にバイアスの強い設定（例：Biased MNISTおよびIMDBにおけるρ = 0.999）において、EnDはBlindEyeやKim et al. [16] といった手法と比較して最先端の性能を達成した。