[論文レビュー] Analysing race and sex bias in brain age prediction

Carolina Piçarra, Ben Glocker|arXiv (Cornell University)|Sep 19, 2023

Fetal and Pediatric Neurological Disorders被引用数 5

ひとこと要約

本研究は、主に白人および男性被験者から構成されるデータセットで学習されたResNet-34を用いた脳年齢予測モデルにおける人種および性別バイアスを調査する。UK Biobankデータ（n=42,786）を用い、Kruskal-Wallis検定およびConover-Imanの多重比較検定を実施した結果、特に黒人および男性被験者において絶対誤差が顕著に高いという統計的に有意な性能差が認められ、また、被験者サブグループ間でモデル特徴量の分布シフトが検出された。これは、AI駆動の神経画像バイオマーカー開発における人種的バイアスのリスクを浮き彫りにしている。

ABSTRACT

Brain age prediction from MRI has become a popular imaging biomarker associated with a wide range of neuropathologies. The datasets used for training, however, are often skewed and imbalanced regarding demographics, potentially making brain age prediction models susceptible to bias. We analyse the commonly used ResNet-34 model by conducting a comprehensive subgroup performance analysis and feature inspection. The model is trained on 1,215 T1-weighted MRI scans from Cam-CAN and IXI, and tested on UK Biobank (n=42,786), split into six racial and biological sex subgroups. With the objective of comparing the performance between subgroups, measured by the absolute prediction error, we use a Kruskal-Wallis test followed by two post-hoc Conover-Iman tests to inspect bias across race and biological sex. To examine biases in the generated features, we use PCA for dimensionality reduction and employ two-sample Kolmogorov-Smirnov tests to identify distribution shifts among subgroups. Our results reveal statistically significant differences in predictive performance between Black and White, Black and Asian, and male and female subjects. Seven out of twelve pairwise comparisons show statistically significant differences in the feature distributions. Our findings call for further analysis of brain age prediction models.

研究の動機と目的

• 訓練データに偏りがある場合、人種および生物学的性別サブグループ間で脳年齢予測モデルの性能に差が生じるかどうかを調査すること。
• 訓練データにおける人種的・性別の不均衡（例：黒人および男性被験者の不足）が、モデルの一般化性能および予測精度に与える影響を評価すること。
• モデルが学習した特徴量に人種的・性別の情報が埋め込まれているかどうかを検討し、バイアスの伝搬の可能性を評価すること。
• 神経画像AIにおけるサブグループ間の性能比較および特徴量分布分析のための統計的フレームワークを提供すること。
• 今後の脳年齢予測モデルの開発において、臨床的公平性と妥当性を確保するため、体系的なバイアス評価を推奨すること。

提案手法

• Cam-CANおよびIXIのT1強調MRIスキャン1,215例を用い、ランダムな反転、コントラスト変更、ノイズ追加、動きアーチファクトを含むデータ拡張を伴う3D ResNet-34モデルを学習した。
• UK Biobank（n=42,786）を用いてモデル性能を評価し、主に絶対予測誤差を指標とし、人種および性別で6つのサブグループに層別した。
• 非パラメトリックなKruskal-Wallis検定を用いてサブグループ間の中央値絶対誤差を比較し、多重比較のためのConover-Iman後続検定をBenjamini-Yekutieli補正を用いて実施した。
• 特徴量活性化の次元削減のため主成分分析（PCA）を用い、学習された表現の高次元的パターンを同定した。
• 2標本Kolmogorov-Smirnov検定を用いて、サブグループ間の特徴表現における統計的に有意な分布シフトを検出した。
• 分析から「その他の人種」と中国系被験者を除外し、中国系はアジア系に統合した。Cam-CANおよびIXIのデータを、頭骨除去、MNI空間への登録、バイアスフィールド補正を含む前処理を経て統合して訓練に使用した。

Figure 1: Age distribution of all subjects in the test set and of each racial subgroup, separated by biological sex. Overlapping lines show the probability density curves.

実験結果

リサーチクエスチョン

• RQ1 人種および生物学的性別サブグループ間で、脳年齢予測モデルの絶対予測誤差に統計的に有意な差が認められるか？
• RQ2 異なる人種および性別サブグループ間で、モデルが学習した特徴量に分布シフトが検出されるか。これは、表現学習における潜在的バイアスを示唆するか？
• RQ3 訓練データにおける人種的・性別の不均衡（例：黒人および男性被験者の不足）が、テストセットにおける性能差とどの程度相関しているか？
• RQ4 年齢範囲およびデータ品質を制御した場合、モデルの性能および特徴量分布はサブグループ間でどのように変化するか？
• RQ5 Kruskal-Wallis検定およびKolmogorov-Smirnov検定といった統計的手法が、神経画像応用における深層学習モデルのバイアスを効果的に検出できるか？

主な発見

• 黒人および白人被験者間（p < 0.0001）、黒人およびアジア系被験者間（p = 0.0065）、男性および女性被験者間（p < 0.0001）で、絶対誤差に統計的に有意な差が認められた。
• PCA成分を用いたKolmogorov-Smirnov検定により、人種および性別サブグループ間の12通りのペアワイズ比較のうち7つで、特徴量分布の差が統計的に有意（p < 0.05）に検出された。
• 黒人および男性被験者の平均絶対誤差が高く、これらのグループがモデルによって系統的に不利に扱われていることが示された。
• モデルの潜在空間における特徴表現は、特に第1および第2主成分でサブグループ間で検出可能な分布シフトを示しており、人種的・性別的情報が特徴量に埋め込まれている可能性を示唆している。
• 後続検定の結果、黒人被験者におけるモデルの性能は、白人およびアジア系被験者と比較して顕著に劣っており、p値はそれぞれ<0.0001および0.0065であった。
• 訓練データ（18–88歳）とテストデータ（44–82歳）の年齢範囲の不一致がモデル全体の性能に影響を及ぼすものの、各サブグループ内では年齢分布が類似しているため、サブグループ比較は意味を持つままであった。

Figure 2: Age distribution of a random sample (n=126) from each racial subgroup, separated by biological sex. Overlapping lines show the probability density curves.