[論文レビュー] Write It Like You See It: Detectable Differences in Clinical Notes By Race Lead To Differential Model Recommendations

Hammaad Adam, Mingying Yang+7 more|arXiv (Cornell University)|May 8, 2022

Machine Learning in Healthcare被引用数 6

ひとこと要約

本研究では、機械学習モデルが、人間の臨床医が同定できないのと同様に、レースが非表示にされた臨床ノートから患者の自己申告レースを正確に予測できることを示している。これは、医療AIにおけるバイアスを助長する臨床文書に隠れたレース関連の信号が存在することを示している。研究結果は、明示的なレースの兆候を削除しても、モデルが依然として人種に相関する言語パターンを学習・活用し、差別の的治療勧告を生じさせることを示しており、AIの公平性における人種を無視するデータの非表示処理の限界を浮き彫りにしている。

ABSTRACT

Clinical notes are becoming an increasingly important data source for machine learning (ML) applications in healthcare. Prior research has shown that deploying ML models can perpetuate existing biases against racial minorities, as bias can be implicitly embedded in data. In this study, we investigate the level of implicit race information available to ML models and human experts and the implications of model-detectable differences in clinical notes. Our work makes three key contributions. First, we find that models can identify patient self-reported race from clinical notes even when the notes are stripped of explicit indicators of race. Second, we determine that human experts are not able to accurately predict patient race from the same redacted clinical notes. Finally, we demonstrate the potential harm of this implicit information in a simulation study, and show that models trained on these race-redacted clinical notes can still perpetuate existing biases in clinical treatment decisions.

研究の動機と目的

• 明示的な人種の兆候が削除された後、機械学習モデルが臨床ノートから患者の人種を推定できるかどうかを調査すること。
• 同じ非表示処理が施された臨床ノートから、人間の臨床医が患者の人種を正確に予測できるかどうかを評価すること。
• モデルが検出可能な人種的信号が、臨床意思決定のバイアスに与える実世界の影響を評価すること。
• 人種が非表示にされたデータでも、AI駆動の医療勧告において人種的格差が継続的に生じることを実証すること。

提案手法

• 2つの大規模病院の臨床ノートを用いて、明示的な人種の兆候が削除された状態で機械学習モデルを訓練した。
• 自然言語処理技術を用いて、非表示処理済みノート内に自己申告人種を予測するのに有用な言語的パターンを同定した。
• 42名の医師による人間の専門家レビューを実施し、同じ非表示処理済みノートから患者の人種を予測できるかどうかを評価した。
• モデルが検出可能な人種情報が治療勧告のバイアスに与える影響を評価するためのシミュレーション研究を実施した。
• モデル内の特徴重要度を分析し、『あざ』や『発疹』といった用語が白人患者の人種と強く関連していることを同定した。
• 治療意思決定シナリオの制御されたシミュレーションを用いて、モデルの勧告における人種的バイアスの程度を定量化した。

実験結果

リサーチクエスチョン

• RQ1 明示的な人種識別子が削除された臨床ノートから、機械学習モデルが患者の自己申告人種を正確に予測できるか？
• RQ2 同じ非表示処理済み臨床ノートから、人間の臨床医は患者の人種を正確に予測できるか？
• RQ3 臨床ノート内のどの言語的特徴が患者の人種を最も予測可能であり、それらは臨床的根拠に基づくものか、潜在的な格差を反映しているか？
• RQ4 モデルが人種を推定できる能力が、シミュレートされた臨床環境における差別の的治療勧告にどの程度影響を及ぼすか？
• RQ5 臨床ノートに学習させるAIモデルにおいて、明示的な人種変数を削除することは、人種的バイアスを防止するのに十分か？

主な発見

• 機械学習モデルは、人種が非表示にされた臨床ノートから患者の自己申告人種を高い正確性で予測できた。これは、テキスト内に暗黙の人種的信号が依然として残っていることを示している。
• 42名の医師を含む人間の臨床医は、同じ非表示処理済みノートから患者の人種を正確に予測できず、AIシステムの監視における人間の監視のギャップが顕著に現れた。
• 『あざ』や『発疹』といった特定の臨床用語は、白人患者の人種を強く予測していたが、それらの症状が黒人患者にあまり見られないという臨床的根拠は存在しない。
• モデルの人種推定能力は、臨床的に正当化できる合併症と、問題のあり得る文書作成パターン（例：黒人患者に対して「対応が難しい」といった否定的記述が頻出）の両方の組み合わせによって駆動されていた。
• シミュレーション研究の結果、人種が非表示にされたノートで訓練されたモデルでも、黒人患者が白人患者と比較して最大10%低い確率で治療が勧められるという差別の的治療勧告が生じた。
• 本研究は、明示的な人種変数を削除しても、臨床文書内の相関する言語的パターンを通じて人種が推定可能であるため、AIモデルにおける人種的バイアスが完全に排除されないことを確認した。