[論文レビュー] Unmasking and Quantifying Racial Bias of Large Language Models in Medical Report Generation

Y. F. Yang, Xiaoyu Liu+3 more|PubMed|Jan 25, 2024

Artificial Intelligence in Healthcare and Education参考文献 9被引用数 5

ひとこと要約

本論文は、医療レポートを生成する際の大規模言語モデル（GPT-3.5-turboおよびGPT-4）の人種バイアスを分析し、背景や治療法に跨る問題的な格差を明らかにします。

ABSTRACT

Large language models like GPT-3.5-turbo and GPT-4 hold promise for healthcare professionals, but they may inadvertently inherit biases during their training, potentially affecting their utility in medical applications. Despite few attempts in the past, the precise impact and extent of these biases remain uncertain. Through both qualitative and quantitative analyses, we find that these models tend to project higher costs and longer hospitalizations for White populations and exhibit optimistic views in challenging medical scenarios with much higher survival rates. These biases, which mirror real-world healthcare disparities, are evident in the generation of patient backgrounds, the association of specific diseases with certain races, and disparities in treatment recommendations, etc. Our findings underscore the critical need for future research to address and mitigate biases in language models, especially in critical healthcare applications, to ensure fair and accurate outcomes for all patients.

研究の動機と目的

• 広範なデータで訓練されたLLMが医療格差を受け継ぐ可能性を理解する動機付け。
• 患者描写、疾患の関連付け、治療提案において、LLM生成の医療レポートに人種バイアスが現れるかを定量化する。
• 臨床AIアプリケーションにおける公正性と安全性への影響を強調する。

提案手法

• 患者背景や疾病連携における偏ったパターンを特定するための生成医療レポートの定性的分析。
• 費用予測、入院期間の代理指標、生存率の仮定といったバイアス指標の定量的評価。
• 実世界の医療不平等を反映する格差を検出するための人種間比較。

実験結果

リサーチクエスチョン

• RQ1 LLMsは異なる人種間で、医療レポートにおける患者背景に偏りを生成しますか？
• RQ2 LLMsは特定の人種に特定の病気を関連付け、偏った推論を示しますか？
• RQ3 異なる人種グループ間で提案される治療や予後に格差はありますか？
• RQ4 これらのバイアスは現実の医療格差をどれだけ反映しており、どのように測定できるか？

主な発見

• 生成されたレポートでは白人集団に対してより高い費用と長い入院期間を投影する傾向がある。
• 難易度の高い医療シナリオでは楽観的な見方を示し、特定のケースで生存率をはるかに高く予測する。
• 生成された医療レポートの患者背景の記述、病因・疾病の関連、治療提案にバイアスが現れる。
• 観察されたバイアスは現実の医療格差を写しており、臨床AIの利用における緩和が必要であることを示している。
• 本研究はLLMによる医療レポート生成における人種バイアスの定性的および定量的証拠を提供する。