[논문 리뷰] A Toolbox for Surfacing Health Equity Harms and Biases in Large Language Models

Stephen Pfohl, Heather Cole-Lewis외 28명|arXiv (Cornell University)|2024. 03. 18.

Healthcare Systems and Public Health인용 수 6

한 줄 요약

이 논문은 건강 형평성 손상과 편향을 표면화하기 위한 다요인적 인간 평가 프레임워크와 일곱 개의 EquityMedQA 데이터셋을 제시하며, 큰 Med-PaLM 2 사례 연구를 통해 이를 시연한다.

ABSTRACT

Large language models (LLMs) hold promise to serve complex health information needs but also have the potential to introduce harm and exacerbate health disparities. Reliably evaluating equity-related model failures is a critical step toward developing systems that promote health equity. We present resources and methodologies for surfacing biases with potential to precipitate equity-related harms in long-form, LLM-generated answers to medical questions and conduct a large-scale empirical case study with the Med-PaLM 2 LLM. Our contributions include a multifactorial framework for human assessment of LLM-generated answers for biases, and EquityMedQA, a collection of seven datasets enriched for adversarial queries. Both our human assessment framework and dataset design process are grounded in an iterative participatory approach and review of Med-PaLM 2 answers. Through our empirical study, we find that our approach surfaces biases that may be missed via narrower evaluation approaches. Our experience underscores the importance of using diverse assessment methodologies and involving raters of varying backgrounds and expertise. While our approach is not sufficient to holistically assess whether the deployment of an AI system promotes equitable health outcomes, we hope that it can be leveraged and built upon towards a shared goal of LLMs that promote accessible and equitable healthcare.

연구 동기 및 목표

• 의료 LLM 출력에서 형평성 관련 손상을 유발할 수 있는 편향의 차원을 참여적이고 전문가 주도 디자인을 통해 정의한다.
• 의료의 장문 응답에서의 편향에 대한 구조화된 인간 평가를 위해 독립형, 쌍대형, 반사실적의 세 가지 루브릭을 개발한다.
• EquityMedQA를 생성한다: LLM이 제시하는 편향에 도전하는 인간 큐레이션과 LLM 생성적 도발적 쿼리를 결합한 일곱 개의 데이터셋(총 4,668개 예시).
• 다양한 평가자와 풍부한 질적 통찰을 갖춘 Med-PaLM 및 Med-PaLM 2에 대한 대규모 실증 연구를 통해 적용 가능성을 입증한다.

제안 방법

• 편향 차원을 식별하기 위한 Equity AI 전문가(EARR) 및 의사들과의 반복적이고 참여적인 루브릭 설계.
• 여섯 가지 편향 차원에 맞춰 독립형, 쌍대형, 반사실적의 세 가지 평가 루브릭을 설계한다.
• EquityMedQA 공개: 인간이 큐레이션한 쿼리와 LLM 생성적 대립적 쿼리를 결합한 일곱 개의 데이터셋(총 4,668개 예시).
• 의료 전문가, 형평성 전문가, 소비자로 구성된 806명의 평가자를 포함하여 Med-PaLM 및 Med-PaLM 2의 outputs에 루브릭을 적용한 대규모 실증 연구.
• >17,000개의 인간 평가의 양적 및 질적 분석을 통해 평가자 간 신뢰도와 편향 설명을 평가한다.

실험 결과

연구 질문

• RQ1 LLM이 생성한 의료 답변에서 어떤 편향 차원이 건강 형평성 관련 손상에 가장 크게 기여하는가?
• RQ2 다요인적이고 참여적인 루브릭이 전통적인 평가 방법으로는 놓치는 편향을 드러낼 수 있는가?
• RQ3 대립적이고 형평성에 초점을 맞춘 데이터셋이 표준 데이터셋에서 보지 못한 Med-PaLM 2의 취약점을 밝히는가?
• RQ4 평가자 다양성이 LLM 출력에서 건강 형평성 편향의 탐지 및 해석에 어떤 영향을 미치는가?

주요 결과

• 다양한 평가자 풀(806명)과 다중 평가 루브릭이 좁은 평가에서 드러나지 않는 편향을 드러낸다.
• 일곱 개의 EquityMedQA 데이터셋을 다중 루브릭 평가와 결합하면 단일 데이터셋 접근 방식으로는 포착되지 않는 형평성 관련 손상을 밝혀낸다.
• 개방적이고 대립적 데이터와 반사실적 설계가 맥락상 의미 있는 편향과 비의미적 변화 구분에 도움을 준다.
• 대립적 테스트와 참여적 루브릭 설계가 부정확한 묘사, 포용성 부족, 구조적 설명의 생략 등 여러 편향 차원의 탐지를 향상시킨다.
• 저자들은 편향 식별만으로는 건강 결과의 형평성을 보장하지 못하며, 더 넓고 맥락에 특화된 평가가 필요하다고 강조한다.