[論文レビュー] AI Fairness via Domain Adaptation

Neil Joshi, Philippe Burlina|arXiv (Cornell University)|Mar 15, 2021

Domain Adaptation and Few-Shot Learning参考文献 29被引用数 9

ひとこと要約

本論文では、AMD検出におけるAIの公平性を向上させるために、生成モデルを用いたドメイン適応手法を提案している。GANベースのフレームワークを用い、潜在空間の操作によってアフリカ系アメリカ人のAMD患者の訓練データを合成することで、性能差を低減し、アフリカ系アメリカ人では79.87%、白人では85.71%の正解率を達成した。これにより、公平性のギャップが縮小され、モデル全体の頑健性も向上した。

ABSTRACT

While deep learning (DL) approaches are reaching human-level performance for many tasks, including for diagnostics AI, the focus is now on challenges possibly affecting DL deployment, including AI privacy, domain generalization, and fairness. This last challenge is addressed in this study. Here we look at a novel method for ensuring AI fairness with respect to protected or sensitive factors. This method uses domain adaptation via training set enhancement to tackle bias-causing training data imbalance. More specifically, it uses generative models that allow the generation of more synthetic training samples for underrepresented populations. This paper applies this method to the use case of detection of age related macular degeneration (AMD). Our experiments show that starting with an originally biased AMD diagnostics model the method has the ability to improve fairness.

研究の動機と目的

• 医療AIにおけるAIの公平性の課題、特に訓練データの不均衡に起因するバイアスを解決すること。
• 訓練データセットにおけるアフリカ系アメリカ人のAMD患者の過小代表化に焦点を当てる。
• 予測ヘッドを変更せず、敵対的訓練に依存せずに、モデルの公平性を向上させる手法を開発すること。
• 生成モデルによるデータ拡張がドメイン適応を達成し、人種的性能ギャップを低減できることを示すこと。
• AMD診断のための実世界の網膜画像データセット（AREDS）を用いて、このアプローチを検証すること。

提案手法

• 代表されない集団、特にAMDを有するアフリカ系アメリカ人のためのリアルな網膜後極部画像を合成するために、条件付き生成モデル（StyleGANベース）を用いる。
• 画像生成中に保護的属性（例：人種）を制御するための潜在空間の操作を実施し、文化的要因を細かく制御可能にする。
• 特にアフリカ系アメリカ人のAMD患者のサンプルを増やすために、合成画像を元の訓練データセットに追加して拡張する。
• 公平性と一般化性能の向上を図るために、拡張されたデータセットでAMD診断モデルを再訓練する。
• 合成中に画像の忠実性と多様性のバランスを保つために、生成器におけるトランクェーションとスタイルベクトル制御を適用する。
• AMD分類には、実データと合成データの両方で訓練された標準的なディープラーニング分類器（例：ResNetまたは類似モデル）を用いる。

実験結果

リサーチクエスチョン

• RQ1 ドメイン適応による生成的データ拡張は、ディープラーニングベースのAMD検出システムにおける人種的バイアスを低減できるか？
• RQ2 代表されない集団のための合成データ生成は、全体のモデル性能を低下させることなく公平性を向上させられるか？
• RQ3 潜在空間の操作が、公平性軽減のための属性固有の制御されたデータ合成をどの程度可能にするか？
• RQ4 データ拡張後、人種グループ間の性能ギャップ（例：白人とアフリカ系アメリカ人）はどのように変化するか？
• RQ5 この手法は、公平性を向上させつつ、診断精度を維持または向上させるドメイン適応を達成できるか？

主な発見

• ベースラインモデルでは顕著なバイアスが認められ、テストセットにおける白人の正解率は80.52%、アフリカ系アメリカ人の正解率は62.99%であった。
• 生成モデルによるデータ拡張後、正解率は白人で85.71%、アフリカ系アメリカ人で79.87%に向上し、公平性のギャップが縮小された。
• 受信者操作特性曲線（ROC AUC）は、ベースライン時0.8049から拡張後0.9169に上昇し、全体の診断性能が向上したことを示した。
• 残りのテストセット（614枚のアフリカ系アメリカ人のAMD画像）では、正解率が42.51%から54.23%に上昇し、代表されない集団への一般化性能が向上したことを示した。
• 拡張後、グループ間の性能差の95%信頼区間が重複したため、公平性のギャップは統計的に有意ではなくなった。
• 敵対的訓練やモデルの再訓練を一切行わず、データ拡張によってドメイン適応を成功裏に達成し、公平性が向上した。