[論文レビュー] MEDFAIR: Benchmarking Fairness for Medical Imaging

Yongshuo Zong, Yongxin Yang+1 more|arXiv (Cornell University)|Oct 4, 2022

Artificial Intelligence in Healthcare and Education被引用数 15

ひとこと要約

MEDFAIRは、医療画像AIにおける公平性を評価する包括的なベンチマークフレームワークを導入し、11のアルゴリズム、10のデータセット、3つのモデル選択基準を、分布内および分布外の設定で標準化する。この研究は、モデル選択戦略が公平性の結果に顕著な影響を及ぼすことを明らかにした。また、最先端のバイアス低減手法が一貫して経験的リスク最小化（ERM）を上回るとは限らず、公平性におけるアルゴリズムの優位性に関する仮定に疑問を呈する。

ABSTRACT

A multitude of work has shown that machine learning-based medical diagnosis systems can be biased against certain subgroups of people. This has motivated a growing number of bias mitigation algorithms that aim to address fairness issues in machine learning. However, it is difficult to compare their effectiveness in medical imaging for two reasons. First, there is little consensus on the criteria to assess fairness. Second, existing bias mitigation algorithms are developed under different settings, e.g., datasets, model selection strategies, backbones, and fairness metrics, making a direct comparison and evaluation based on existing results impossible. In this work, we introduce MEDFAIR, a framework to benchmark the fairness of machine learning models for medical imaging. MEDFAIR covers eleven algorithms from various categories, nine datasets from different imaging modalities, and three model selection criteria. Through extensive experiments, we find that the under-studied issue of model selection criterion can have a significant impact on fairness outcomes; while in contrast, state-of-the-art bias mitigation algorithms do not significantly improve fairness outcomes over empirical risk minimization (ERM) in both in-distribution and out-of-distribution settings. We evaluate fairness from various perspectives and make recommendations for different medical application scenarios that require different ethical principles. Our framework provides a reproducible and easy-to-use entry point for the development and evaluation of future bias mitigation algorithms in deep learning. Code is available at https://github.com/ys-zong/MEDFAIR.

研究の動機と目的

• 不一致なメトリクス、データセット、実験設計による、医療画像AIにおける公平性評価の標準化の欠如に対処する。
• 早期停止やハイパーパrameterチューニングなどのモデル選択基準が公平性結果に与える影響を特定および定量化する。
• 多様な医療画像データセットおよび感受性属性（人種、性別、年齢、交差的グループ）における11の公平性アルゴリズムの有効性を評価する。
• 実世界の展開課題を反映するために、分布内および分布外の両方の設定における公平性を評価する。
• 倫理的原則とアプリケーション固有のニーズに基づいた、医療AIにおける公平性のための実行可能な提言を提供する。

提案手法

• 11の公平性アルゴリズム、10の医療画像データセット、3つのモデル選択戦略を標準化する統一されたベンチマークフレームワーク（MEDFAIR）を設計する。
• グループ公平性（例：正答率の差）、個人公平性、対戦後公平性を含む複数の公平性メトリクスを、人種、性別、年齢などの感受性属性に対して適用する。
• 早期停止（検証損失に基づく）、検証セットにおける正答率、公平性に配慮した基準という3つのモデル選択基準を実装し、それらの影響を分離する。
• 耐性をテストするために、分布内（同じドメイン）および分布外（ドメインシフト）の両設定で実験を実施する。
• X線、CT、MRI、皮膚鏡画像を含む多様な画像モodalitiesを用い、広範な適用可能性を確保する。
• データ前処理、モデルバックボーン（例：ResNet）、トレーニングプロトコルを標準化し、アルゴリズム間の公平な比較を可能にする。

実験結果

リサーチクエスチョン

• RQ1 モデル選択戦略（例：早期停止、ハイパーパrameterチューニング）の選択が、医療画像モデルの公平性結果にどのように影響するか？
• RQ2 最先端の公平性アルゴリズムは、多様なデータセットおよび感受性属性において、一貫して経験的リスク最小化（ERM）を上回る公平性を実現するのか？
• RQ3 実世界の医療画像展開において、分布内と分布外の設定における公平性パフォーマンスはどのように変化するか？
• RQ4 グループ公平性、個人公平性、対戦後公平性といった公平性定義のうち、臨床応用において最も頑健で倫理的に整合性のある結果をもたらすのはどれか？
• RQ5 MIMIC-CXRのような大規模データセットにおける、交差的サブグループ（例：高齢で非白人の女性）において、異なる公平性アルゴリズムのパフォーマンスと公平性のトレードオフは何か？

主な発見

• モデル選択戦略は公平性結果に顕著で、しばしば軽視される影響を及ぼしており、同じアルゴリズムであっても、異なる基準が異なる公平性結果をもたらす。
• ドメイン一般化手法であるSWADは、データセットおよび公平性メトリクスの観点で一貫してトップパフォーマンスを示し、多様な交絡要因に対して頑健であることが示唆された。
• MIMIC-CXRデータセットでは、交差的サブグループ（例：高齢で非白人の女性）における公平性ギャップが、ERM下で最大18.92%に達し、深刻な格差を示した。
• 膨大な努力にもかかわらず、最先端の公平性アルゴリズムは、特に分布外設定において、公平性メトリクスで一貫してERMを上回ることはできず、アルゴリズムの優位性に関する主張を揺るがす結果となった。
• 年齢関連サブグループ（例：80歳以上）におけるパフォーマンスギャップは、ERMで5.32%、Subgroup-Rで6.99%に達し、年齢バイアスの是正が特に困難であることが示された。
• 本研究では、公平性の向上がしばしば全体的なモデルの有用性の低下を伴うことが判明し、臨床的展開における便宜と非害の原則に関する倫理的懸念を呈した。