[論文レビュー] To which reference class do you belong? Measuring racial fairness of reference classes with normative modeling

Saige Rutherford, Thomas Wolfers+5 more|arXiv (Cornell University)|Jul 26, 2024

School Choice and Performance被引用数 8

ひとこと要約

本論文は normative brain structure モデルにおける人種的公平性を検討し、事前学習済みモデルや人種非考慮モデルにおける人種バイアスを示し、人種を含めることでバイアスを低減できる一方で、偏差スコアから人種を予測できることを示す。参照クラスの代表性と偏差の慎重な解釈を強調する。

ABSTRACT

Reference classes in healthcare establish healthy norms, such as pediatric growth charts of height and weight, and are used to chart deviations from these norms which represent potential clinical risk. How the demographics of the reference class influence clinical interpretation of deviations is unknown. Using normative modeling, a method for building reference classes, we evaluate the fairness (racial bias) in reference models of structural brain images that are widely used in psychiatry and neurology. We test whether including race in the model creates fairer models. We predict self-reported race using the deviation scores from three different reference class normative models, to better understand bias in an integrated, multivariate sense. Across all of these tasks, we uncover racial disparities that are not easily addressed with existing data or commonly used modeling techniques. Our work suggests that deviations from the norm could be due to demographic mismatch with the reference class, and assigning clinical meaning to these deviations should be done with caution. Our approach also suggests that acquiring more representative samples is an urgent research priority.

研究の動機と目的

• 既存の皮質厚さの事前学習ノーマティブモデルにおける人種バイアスを定量化する。
• ノーマティブモデルに人種を予測因子として含める影響を評価する。
• 2つの大規模データセット（HCP, UKB）において3つのノーマティブモデル構成を比較する。
• 偏差スコアが人種特有のバイアスを明らかにするか、そして偏差から人種を予測できるかを検討する。

提案手法

• Freesurfer Destrieux アトラス領域の皮質厚さを用いて、事前学習済み、race not included、race included の3つのベイズノーマティブモデルを適合させる。
• 年齢効果にはBスプライン基底展開を用い、尤度のワープを適用して非ガウス分布の応答をガウス潜在空間へ写像する。
• 各領域および被験者について偏差スコア Z_nd と残差誤差 E_nd を計算する。
• 人種별に平均偏差の概観と極端な偏差を定性的に要約する。
• FDR補正のt検定で偏差と残差誤差の群間差を定量的に検定する。
• 80/20 の訓練/テスト分割と5-fold クロスバリデーションを用いて、偏差スコアから自己申告の人種をペナルティ付きロジスティック回帰で予測する。

Figure 1: Overview of analysis workflow. A) Normative models of brain structure were used to generate deviation scores. Three normative models were fit (pre-trained, race not included, and race included) representing two different reference classes and two sets of covariates. B) Normative models wer

実験結果

リサーチクエスチョン

• RQ1 人種データが未知の場合、事前学習ノーマティブモデルにおいて人種バイアスは存在するか？
• RQ2 ノーマティブモデルで自己申告人種を含めると、偏差スコアや残差誤差における人種バイアスは低減されるか？
• RQ3 ノーマティブモデルからの偏差スコアは、多変量設定で自己申告の人種を予測できるか？
• RQ4 人種に基づくモデリングは、脳領域とデータセット（HCP、UKB）間の公正性にどのように影響するか？

主な発見

データセット	グループ	指標	事前学習	人種未含	人種含
HCP	W vs. A	deviations	40%	49%	9%
HCP	W vs. B	deviations	55%	51%	5%
UKB	W vs. A	deviations	17%	25%	19%
UKB	W vs. B	deviations	45%	37%	7%
HCP	W vs. A	error	74%	64%	55%
HCP	W vs. B	error	56%	28%	54%
UKB	W vs. A	error	71%	56%	53%
UKB	W vs. B	error	87%	73%	51%

• ノーマティブモデルには人種バイアスが存在し、White 群はしばしばゼロ付近に中心化される一方、Asian/Black 群はモデルの種類に応じて皮質厚さの過大評価または過小評価を示す。
• ノーマティブモデルに人種を含めると、平均偏差の群間差が大幅に縮小するが、特定の領域では一部の群で過小評価が残る。
• 定量的検定により、モデル間で残差誤差と偏差スコアの群間差が有意であり、一般に人種を含むモデルで差が少なくなる。
• UKB では白色群が残差誤差の大きさを示すことが多く、サンプルサイズの不均衡が影響している可能性がある；HCP では一部の群で残差誤差の側性が現れる。
• モデルを超えて、偏差と残差誤差は人種によって異なり、参照クラスと人口統計的ミスマッチが偏差の臨床解釈を左右し得ることを示す。
• 偏差スコアから人種を識別できる高い精度があり、ノーマティブモデルの出力へ人種情報が漏れ込むことを示している。

Figure 2: Summary of normative model deviation scores across all three reference classes (pre-trained, race not included, and race included) in HCP and UKB datasets. A) Average (mean) deviations for all brain regions within all racial groups (columns). B) Percentage of extreme deviations (positive a