[論文レビュー] Downstream Fairness Caveats with Synthetic Healthcare Data

Karan Bhanot, Ioana Baldini+3 more|arXiv (Cornell University)|Mar 9, 2022

Health Systems, Economic Evaluations, Quality of Life被引用数 5

ひとこと要約

本論文は、HealthGANを用いて生成された合成医療データの公平性と有用性を評価し、機械学習モデルにおける性別および人種のバイアスに関して、実データと合成データを比較している。合成データは有用性においてしばしば実データを下回り、予測不能な公平性の変化を示すことが判明した。また、公平性低減技術の有効性は一貫してではなく、合成データは本質的にバイアスフリーではないことが示され、実世界への応用の前に明示的な公平性評価が必要であることを強調している。

ABSTRACT

This paper evaluates synthetically generated healthcare data for biases and investigates the effect of fairness mitigation techniques on utility-fairness. Privacy laws limit access to health data such as Electronic Medical Records (EMRs) to preserve patient privacy. Albeit essential, these laws hinder research reproducibility. Synthetic data is a viable solution that can enable access to data similar to real healthcare data without privacy risks. Healthcare datasets may have biases in which certain protected groups might experience worse outcomes than others. With the real data having biases, the fairness of synthetically generated health data comes into question. In this paper, we evaluate the fairness of models generated on two healthcare datasets for gender and race biases. We generate synthetic versions of the dataset using a Generative Adversarial Network called HealthGAN, and compare the real and synthetic model's balanced accuracy and fairness scores. We find that synthetic data has different fairness properties compared to real data and fairness mitigation techniques perform differently, highlighting that synthetic data is not bias free.

研究の動機と目的

• 合成医療データが機械学習モデルにおいて、実データと同等の公平性と有用性を維持しているかどうかを評価すること。
• 公平性低減技術が実データと合成データの両方で同様に効果を発揮するかどうかを調査すること。
• 合成医療データセットにおける有用性と公平性のトレードオフを同定すること。
• 医療応用において、明示的な公平性評価なしに合成データを導入するリスクを強調すること。

提案手法

• 2つの実データセット（心血管疾患（性別バイアス）とMIMIC-III（人種バイアス））を用いて、HealthGAN（GANベースのモデル）を用いて合成医療データを生成した。
• ランダムフォレストモデルを実データおよび合成データ上で学習させ、バランス精度と公平性指標を評価した。
• グループ公平性指標（等しい機会差、平均的オッズ差、等価なオッズ）を用いて公平性を測定した。
• 再重み付け、敵対的デバイアス（HPS）、リダクションの3つの公平性低減技術を適用し、実データおよび合成データにおける影響を評価した。
• バランス精度と公平性スコアを用いて、実データと合成データの間でモデル性能を比較した。
• 公平性低減技術の有効性を評価するため、統計的有意性検定を実施した。

実験結果

リサーチクエスチョン

• RQ1 機械学習モデルの学習に使用された場合、合成医療データは実データと同等の公平性と有用性を有しているか？
• RQ2 公平性低減技術は、合成データと実データの両方において、同等の改善をもたらすか？
• RQ3 実データと合成医療データセットの間で、有用性と公平性のトレードオフはどのように異なるか？
• RQ4 合成データ上で公平性低減を適用しても、バイアスを信頼性高く低減できるのか、それとも予期しない結果を引き起こすのか？

主な発見

• 合成データは、性別バイアス評価および人種バイアス評価の両方において、実データよりもバランス精度が低く、有用性が低下していることが一貫して確認された。
• 心血管疾患データセットにおける性別バイアス分析では、合成データは公平性性能が悪化し、女性に対するバイアスが実データに存在しない形で顕著になった。
• MIMIC-IIIデータセットにおける人種バイアスでは、一部のケースで合成データの公平性が向上したが、結果は一貫せず、実データを常に上回るとは限らなかった。
• 公平性低減技術は、実データおよび合成データの両方で公平性を向上させたが、改善の大きさと統計的有意性は、合成データではしばしば低かった。
• 公平性低減の適用により、両方のデータタイプでバランス精度が低下し、合成データではより顕著に、有用性と公平性のトレードオフが確認された。
• 合成データにおける一部の公平性低減改善は統計的に有意ではなかったため、信頼性の低い公平性の向上であり、合成データを厳密な公平性検証なしに展開するリスクを浮き彫りにした。