[논문 리뷰] Unmasking and Quantifying Racial Bias of Large Language Models in Medical Report Generation

Y. F. Yang, Xiaoyu Liu외 3명|PubMed|2024. 01. 25.

Artificial Intelligence in Healthcare and Education참고 문헌 9인용 수 5

한 줄 요약

본 논문은 대형 언어 모델(GPT-3.5-turbo 및 GPT-4)이 의료 보고서를 생성할 때 인종 편향을 분석하여 배경 및 치료 간의 문제적 차이가 있음을 드러낸다.

ABSTRACT

Large language models like GPT-3.5-turbo and GPT-4 hold promise for healthcare professionals, but they may inadvertently inherit biases during their training, potentially affecting their utility in medical applications. Despite few attempts in the past, the precise impact and extent of these biases remain uncertain. Through both qualitative and quantitative analyses, we find that these models tend to project higher costs and longer hospitalizations for White populations and exhibit optimistic views in challenging medical scenarios with much higher survival rates. These biases, which mirror real-world healthcare disparities, are evident in the generation of patient backgrounds, the association of specific diseases with certain races, and disparities in treatment recommendations, etc. Our findings underscore the critical need for future research to address and mitigate biases in language models, especially in critical healthcare applications, to ensure fair and accurate outcomes for all patients.

연구 동기 및 목표

• 광범위한 데이터로 학습된 LLM이 의료 시스템의 불평등을 물려받을 수 있음을 이해하도록 촉진한다.
• LLM이 생성한 의료 보고서가 환자 묘사, 질병 연관성, 치료 제안에서 인종 편향을 나타내는지 정량화한다.
• 임상 AI 응용에서 공정성 및 안전성에 대한 시사점을 강조한다.

제안 방법

• 환자 배경 및 질병 연관성에서 편향된 패턴을 식별하기 위한 생성된 의료 보고서의 질적 분석.
• 비용 예측, 입원 기간 대리치, 생존율 가정 등 편향 지표의 정량적 평가.
• 실제 의료 불평등을 반영하는 격차를 탐지하기 위한 인종 간 비교.

실험 결과

연구 질문

• RQ1 다른 인종 간에 LLM이 생성하는 의료 보고서에서 환자 배경에 편향이 나타나나요?
• RQ2 LLM이 특정 질병을 특정 인종과 연관 지어 편향된 추론을 보이나요?
• RQ3 다른 인종 그룹 간에 제시된 치료나 예후에 격차가 있나요?
• RQ4 이러한 편향이 현실 세계의 의료 격차를 어느 정도 반영하며, 이를 어떻게 측정할 수 있나요?

주요 결과

• LLMs tend to project higher costs and longer hospitalizations for White populations in generated reports.
• LLMs exhibit optimistic views in challenging medical scenarios, predicting much higher survival rates for certain cases.
• Biases appear in patient background descriptions, disease associations, and treatment recommendations within generated medical reports.
• The observed biases mirror real-world healthcare disparities, indicating a need for mitigation in clinical AI usage.
• The study provides qualitative and quantitative evidence of racial bias in medical report generation by LLMs.