[論文レビュー] Echoes of Biases: How Stigmatizing Language Affects AI Performance

Yizhi Liu, Weiguang Wang+2 more|arXiv (Cornell University)|May 17, 2023

Machine Learning in Healthcare被引用数 4

ひとこと要約

本研究は、電子歴史記録（EHRs）における差別的表現（SL）が、特にBlack患者においてAIの死亡予測性能を低下させることを調査する。変換器ベースのモデルと解釈可能なAIを用いて、共同ネットワークにおける中心的医療従事者を、人種的格差の主な要因と特定し、全コーパスからSLを除去するのとは対照的に、これらの医療従事者のSLを除去することで、バイアス低減がより効果的であることを示している。

ABSTRACT

Electronic health records (EHRs) serve as an essential data source for the envisioned artificial intelligence (AI)-driven transformation in healthcare. However, clinician biases reflected in EHR notes can lead to AI models inheriting and amplifying these biases, perpetuating health disparities. This study investigates the impact of stigmatizing language (SL) in EHR notes on mortality prediction using a Transformer-based deep learning model and explainable AI (XAI) techniques. Our findings demonstrate that SL written by clinicians adversely affects AI performance, particularly so for black patients, highlighting SL as a source of racial disparity in AI model development. To explore an operationally efficient way to mitigate SL's impact, we investigate patterns in the generation of SL through a clinicians' collaborative network, identifying central clinicians as having a stronger impact on racial disparity in the AI model. We find that removing SL written by central clinicians is a more efficient bias reduction strategy than eliminating all SL in the entire corpus of data. This study provides actionable insights for responsible AI development and contributes to understanding clinician behavior and EHR note writing in healthcare.

研究の動機と目的

• EHRノートにおける差別的表現（SL）がAI駆動の死亡予測性能に与える影響を調査すること。
• SLがAIモデルの結果における人種的格差にどのように寄与するかを特定すること。
• SL生成における医療従事者の影響を分析することで、バイアス低減のための実務的効率の良い戦略を探ること。
• 全データセットからのSL除去と比較して、中心的医療従事者のSLを標的とするバイアス低減の有効性を評価すること。

提案手法

• EHRノートを用いて、入院中の死亡予測を目的とした変換器ベースの深層学習モデルを訓練する。
• モデルの予測を解釈し、特徴量の重要度を評価するために、解釈可能なAI（XAI）技術を適用する。
• SL寄与パターンに基づいて、中心的医療従事者を特定するための医療従事者共同ネットワークを構築する。
• SLを訓練データから系統的に除去する。まず全コーパス全体に対して、次に中心的医療従事者のSLに対して、それぞれの低減効率を比較する。
• AUC-ROCなどの指標を用いてモデルのパフォーマンスを評価し、人種によるサブグループ分析を通じて格差を評価する。
• ネットワークの中心性指標（例：次数、媒介性）を用いて、医療従事者のSL伝播への影響を定量化する。

実験結果

リサーチクエスチョン

• RQ1 EHRノートにおける差別的表現は、患者の死亡予測におけるAIモデルの性能にどのように影響するか？
• RQ2 差別的表現は、AI駆動の死亡予測における人種的格差に、どの程度寄与しているか？
• RQ3 どの医療従事者が差別的表現の生成において最も影響力が強く、その役割はモデルバイアスにどのように影響するか？
• RQ4 全データセットからのSL除去と比較して、中心的医療従事者のSLを除去することは、バイアス低減においてより効果的か？

主な発見

• EHRノートにおける差別的表現は、特にBlack患者においてAIモデルのパフォーマンスを顕著に低下させ、このサブグループにおけるAUC-ROCが著しく低下する。
• ネットワーク中心性が高いかつ中心的医療従事者は、差別的表現の大部分を生成し、モデル予測における人種的格差の増大と強く関連している。
• 中心的医療従事者が生成したSLを除去することで、全データセットからのSL除去よりも、人種的格差の低減がより効果的である。
• 中心的医療従事者のSLを除去すると、モデルのパフォーマンスが顕著に向上し、バイアス伝播におけるその影響の大きさが裏付けられる。
• 解釈可能なAI分析により、Black患者の予測において、SL特徴量が不釣り合いに重み付けされていることが確認され、既存の格差が強化されている。
• 本研究は、中心的医療従事者に対する標的的介入が、広範なデータ整備よりも、より効率的かつスケーラブルなバイアス低減戦略であることを示している。