[論文レビュー] Improving the Fairness of Chest X-ray Classifiers

Haoran Zhang, Natalie Dullerud+4 more|arXiv (Cornell University)|Mar 23, 2022

Radiomics and Machine Learning in Medical Imaging被引用数 10

ひとこと要約

本稿は、胸部X線分類器における公平性を、グループ公平性とミニマックス公平性の定義で比較し、単純なデータバランス化が複雑なデバイアス化手法を上回ること、およびグループ公平性手法がしばしばすべてのグループのパフォーマンスを低下させることを発見した。著者らは、アルゴリズム的修正に依存するのではなく、データバイアスの原因を分析することを提唱する。

ABSTRACT

Deep learning models have reached or surpassed human-level performance in the field of medical imaging, especially in disease diagnosis using chest x-rays. However, prior work has found that such classifiers can exhibit biases in the form of gaps in predictive performance across protected groups. In this paper, we question whether striving to achieve zero disparities in predictive performance (i.e. group fairness) is the appropriate fairness definition in the clinical setting, over minimax fairness, which focuses on maximizing the performance of the worst-case group. We benchmark the performance of nine methods in improving classifier fairness across these two definitions. We find, consistent with prior work on non-clinical data, that methods which strive to achieve better worst-group performance do not outperform simple data balancing. We also find that methods which achieve group fairness do so by worsening performance for all groups. In light of these results, we discuss the utility of fairness definitions in the clinical setting, advocating for an investigation of the bias-inducing mechanisms in the underlying data generating process whenever possible.

研究の動機と目的

• 胸部X線分類器に適したグループ公平性とミニマックス公平性のどちらがより適切かを評価すること。
• MIMIC-CXRとCheXpertの2つの公開胸部X線データセットにおいて、両方の公平性定義下で9つの公平性手法をベンチマークすること。
• デバイアス化手法が、全体のパフォーマンスを低下させることなく、最悪グループのパフォーマンスを改善するかを調査すること。
• 特に「検査所見なし」予測におけるラベルバイアスの役割を調査すること。
• データの起源分析と複数のメトリクスにおけるパフォーマンス評価に基づき、医療分野における公平なMLの展開に向けた提言を提供すること。

提案手法

• 著者らは、MIMIC-CXRおよびCheXpertデータセットを用いて、経験的リスク最小化（ERM）およびバランス化ERMを用いて深層学習モデルを訓練・評価した。
• グループ公平性（例：敵対的デバイアス化、再重み付け）およびミニマックス公平性（例：ミニマックス最適化）を目的とした9つの公平性手法を適用し、最悪グループのパフォーマンスを向上させた。
• 自動NLPシステムによって「検査所見なし」とラベル付けされた1,200件のMIMIC-CXRレポートを放射線科医が手動で再ラベル付けし、ラベル品質を評価した。
• パフォーマンスと公平性を評価するために、複数のメトリクス（TPR、FPR、キャリブレーション）と作動しきい値を用いてモデルを評価した。
• 性別や年齢などの保護群ごとのパフォーマンスを比較し、キャリブレーションと誤差率における乖離を分析した。
• 統計的検定を用いて顕著なパフォーマンス格差を確認し、デバイアス化手法がそれらを軽減するか悪化させるかを評価した。

実験結果

リサーチクエスチョン

• RQ1 保護群間の差を最小化する（グループ公平性）ことが、ミニマックス公平性よりも胸部X線分類において最悪グループのパフォーマンスを向上させるか？
• RQ2 既存のアルゴリズム的デバイアス化手法は、どのグループのパフォーマンスを低下させることなく公平性を向上させるか？
• RQ3 「検査所見なし」予測におけるパフォーマンス格差は、放射線学的レポートからの自動NLPラベル付けにおけるラベルバイアスに起因するか？
• RQ4 単純なデータバランス化は、臨床的公平性ベンチマークにおいて、複雑な公平性に配慮した訓練手法を上回るか？
• RQ5 最悪グループパフォーマンスの最小化とグループ間の誤差率の均等化のどちらを公平性定義として採用すべきか、どのような条件下か？

主な発見

• 単純なデータバランス化が、9つの公平性手法すべてを上回り、最悪グループのパフォーマンス向上に有効であることが示され、データキュレーションがアルゴリズム的デバイアス化よりも効果的である可能性を示唆した。
• グループ公平性を達成するためのデバイアス化手法は、保護群すべてのパフォーマンスを悪化させる傾向にあり、公平性と全体的精度のトレードオフが生じていることを示した。
• 保護群（例：黒人女性）間でTPRおよびFPRに顕著なパフォーマンス格差が存在し、デバイアス化後でも依然として顕著であった。
• 放射線学的レポートからの自動生成「検査所見なし」ラベルにおけるラベルバイアスが、特に高齢群においてパフォーマンス格差を生じさせている。
• グループごとのキャリブレーション誤差に差が認められ、固定の作動しきい値が臨床的展開において不均等なリスク推定をもたらす可能性がある。
• 複雑な公平性アルゴリズムが、基本的なデータバランス化を上回る公平性向上を示す証拠はなく、データ生成メカニズムの分析の重要性を強調した。