[논문 리뷰] Q-Pain: A Question Answering Dataset to Measure Social Bias in Pain Management

Cécile Logé, Emily Ross외 5명|arXiv (Cornell University)|2021. 08. 03.

Topic Modeling참고 문헌 37인용 수 10

한 줄 요약

Q-Pain은 임상적 사례 55건으로 구성된 질문-답변 데이터셋을 도입하여 의료 AI에서의 인종 및 성별 편향을 측정한다. 표준화된 환자 프로필을 사용해 치료 권고를 평가한다. GPT-2와 GPT-3에 엄격한 통계적 프레임워크를 적용한 결과, 교차 인종-성별 하위군 간에 통계적으로 유의미한 통증 약물 처방 차이가 드러났다.

ABSTRACT

Recent advances in Natural Language Processing (NLP), and specifically automated Question Answering (QA) systems, have demonstrated both impressive linguistic fluency and a pernicious tendency to reflect social biases. In this study, we introduce Q-Pain, a dataset for assessing bias in medical QA in the context of pain management, one of the most challenging forms of clinical decision-making. Along with the dataset, we propose a new, rigorous framework, including a sample experimental design, to measure the potential biases present when making treatment decisions. We demonstrate its use by assessing two reference Question-Answering systems, GPT-2 and GPT-3, and find statistically significant differences in treatment between intersectional race-gender subgroups, thus reaffirming the risks posed by AI in medical settings, and the need for datasets like ours to ensure safety before medical AI applications are deployed.

연구 동기 및 목표

• 통증 관리 분야에서 의료 질문-답변 시스템 내 사회적 편향을 측정할 수 있는 벤치마크 데이터셋을 개발하는 것.
• 임상적 결정보 AI에서 편향을 평가하기 위한 표준화되고 재현 가능한 방법의 부족을 해결하는 것.
• GPT-2와 GPT-3와 같은 대규모 언어 모델이 기존의 인종 및 성별 편향을 반영하거나 악화시키는지 조사하는 것.
• AI 시스템과 실제 임상 워크플로우 양쪽에서 편향 평가를 위한 프레임워크를 제공하는 것.

제안 방법

• 통증 증상과 치료 결정을 포함한 환자 중심의 시나리오를 가진 55건의 임상적 사례를 설계하며, 인종과 성별 프로필만을 변화시킴.
• 편향을 격리하기 위해 표준화되고 중립적인 어조의 닫힌 프롬프트를 구성하여 사전 자극을 방지함.
• 교차 인종-성별 하위군 간의 치료 권고를 비교하기 위해 통계적 실험 설계를 적용함.
• 설명 품질 평가를 위해 세 가지 기준 평가 지표를 사용: 정확한 진단 인식, 맥락 평가, 옹포이드 적절성.
• 동일한 프롬프트와 분석 파이프라인을 사용해 동일한 데이터셋에서 두 개의 LLM(GPT-2와 GPT-3)을 평가함.
• 기초 통계적 검증을 수행하여 인구 통계 하위군 간에 치료 권고의 유의미한 차이를 탐지함.

실험 결과

연구 질문

• RQ1 GPT-2와 GPT-3와 같은 대규모 언어 모델이 다양한 인종-성별 하위군 간에 통계적으로 유의미한 차이를 보이며 통증 약물 처방 권고에 편향을 보이는가?
• RQ2 다양한 인구 통계 프로필을 가진 환자 사례를 평가할 때 AI가 생성한 설명이 편향된 사고 방식을 반영하는 정도는 어느 정도인가?
• RQ3 표준화되고 재현 가능한 실험적 프레임워크는 편향된 프롬프트에 의존하지 않고도 의료 QA 시스템의 편향을 탐지할 수 있는가?
• RQ4 GPT-2와 GPT-3의 치료 권고 패턴은 통증 관리에서 교차 정체성에 따라 공정성 측면에서 어떻게 비교되는가?
• RQ5 프롬프트에 복용량/공급 규모 정보를 포함시키면 AI 시스템의 미묘한 차별적 행동을 더 잘 탐지할 수 있는가?

주요 결과

• GPT-2와 GPT-3는 모두 교차 인종-성별 하위군 간에 통계적으로 유의미한 차이를 보이며, 인공지능 기반 통증 관리 결정보에서 측정 가능한 편향을 보였음.
• GPT-3는 GPT-2보다 더 일관되고 맥락에 부합하는 설명을 생성했지만, 양 모델 모두 아시아계 성명을 일관되게 식별하지 못함.
• GPT-2에서 GPT-3로의 확장만으로 공정성 향상이 나타나지 않아, 언어 모델 내부에 내재된 사회적 편향을 해결하는 데는 스케일링만으로는 충분하지 않음을 시사함.
• 모든 모델의 설명은 종종 불완전하거나 반복적이었으며, 특히 GPT-2는 프롬프트 조각을 반복적으로 반복하는 경향이 있었음.
• 데이터셋과 프레임워크는 프롬프트가 중립적이고 표준화된 상태에서도 치료 결정의 인구 통계적 편향을 성공적으로 격리함.
• 이 연구는 AI 시스템이 실제 통증 관리 분야의 불균형을 재현하고, 특히 흑인과 여성 환자에게서는 악화시킬 수 있음을 확인함.