[논문 리뷰] Write It Like You See It: Detectable Differences in Clinical Notes By Race Lead To Differential Model Recommendations

Hammaad Adam, Mingying Yang외 7명|arXiv (Cornell University)|2022. 05. 08.

Machine Learning in Healthcare인용 수 6

한 줄 요약

이 연구는 기계학습 모델이 환자의 자가 보고한 인종을 인종 기반 표시가 제거된 임상 기록에서 정확하게 예측할 수 있음을 입증한다—비록 인간 전문의가 이를 할 수 없음에도 불구하고—이로 인해 의료 AI에서 편향을 지속시키는 은폐된 인종적 신호가 임상 기록에 존재한다는 것이 드러났다. 연구 결과는 명시적인 인종 지표를 제거한 후에도 모델들이 여전히 인종 관련 언어 패턴을 학습하고 이를 바탕으로 행동함으로써 치료 권고의 차별적 결과를 초래하며, AI 정의성에서 인종 무관 데이터 정제의 한계를 보여준다.

ABSTRACT

Clinical notes are becoming an increasingly important data source for machine learning (ML) applications in healthcare. Prior research has shown that deploying ML models can perpetuate existing biases against racial minorities, as bias can be implicitly embedded in data. In this study, we investigate the level of implicit race information available to ML models and human experts and the implications of model-detectable differences in clinical notes. Our work makes three key contributions. First, we find that models can identify patient self-reported race from clinical notes even when the notes are stripped of explicit indicators of race. Second, we determine that human experts are not able to accurately predict patient race from the same redacted clinical notes. Finally, we demonstrate the potential harm of this implicit information in a simulation study, and show that models trained on these race-redacted clinical notes can still perpetuate existing biases in clinical treatment decisions.

연구 동기 및 목표

• 기계학습 모델이 명시적인 인종 지표가 제거된 임상 기록에서 환자의 자가 보고한 인종을 추론할 수 있는지 조사하기 위해.
• 동일한 정제된 임상 기록에서 인간 전문의가 환자의 인종을 정확하게 예측할 수 있는지 평가하기 위해.
• 모델이 탐지할 수 있는 인종 신호의 실제 임상 결정에 미치는 영향을 평가하기 위해.
• 인종 정제된 데이터가 여전히 AI 기반 의료 권고에서 인종 격차를 유지할 수 있음을 입증하기 위해.

제안 방법

• 두 대규모 병원의 임상 기록을 기반으로 기계학습 모델을 훈련하고, 명시적인 인종 지표를 제거하였다.
• 자연어 처리 기법을 사용하여 정제된 기록에서 자가 보고한 인종을 예측할 수 있는 언어 패턴을 식별하였다.
• 42명의 의사로 구성된 인간 전문가 감사 평가를 실시하여 동일한 정제된 기록에서 인종을 예측할 수 있는지 평가하였다.
• 모델이 탐지할 수 있는 인종 정보가 치료 권고 편향에 어떤 영향을 미치는지 평가하기 위해 시뮬레이션 연구를 수행하였다.
• 특정 임상 용어가 인종과 강하게 연관되어 있는지 분석하기 위해 모델의 기능 중요도를 분석하였다. 예를 들어, White 환자에게서는 'bruising'(다리에 찰과상) 또는 'rash'(피부 발진) 등의 용어가 높은 관련성을 보였다.
• 치료 결정 시나리오의 통제된 시뮬레이션을 통해 모델 권고에서 인종 편향의 정도를 정량화하였다.

실험 결과

연구 질문

• RQ1 기계학습 모델은 인종 기반 표시가 제거된 임상 기록에서 환자의 자가 보고한 인종을 정확하게 예측할 수 있는가?
• RQ2 인간 전문의는 동일한 정제된 임상 기록에서 환자의 인종을 정확하게 예측할 수 있는가?
• RQ3 임상 기록의 어떤 언어적 특징이 환자의 인종을 가장 잘 예측하는가? 이는 임상적 정당성에 기반하는가, 아니면 잠재적 격차를 반영하는가?
• RQ4 모델이 인종을 추론할 수 있는 능력이 시뮬레이션된 임상 환경에서 치료 권고의 차별적 결과를 얼마나 초래하는가?
• RQ5 명시적인 인종 지표를 제거하는 것이 기록 기반 기계학습 모델에서 인종 편향을 방지하는 데 충분한가?

주요 결과

• 기계학습 모델은 인종 정제된 임상 기록에서 환자의 자가 보고한 인종을 높은 정확도로 예측하였다. 이는 텍스트 내에서 암묵적인 인종 신호가 여전히 존재함을 보여준다.
• 42명의 의사 포함한 인간 전문의는 동일한 정제된 기록에서 환자의 인종을 정확하게 예측하지 못하였으며, 이는 AI 시스템에 대한 인간 감시의 핵심적 격차를 드러낸다.
• 일부 임상 용어—예를 들어 'bruising'과 'rash'—는 White 환자와 강하게 연관되어 있었지만, Black 환자에서 이러한 증상이 덜 흔하다는 임상적 근거는 없었다.
• 모델의 인종 예측 능력은 임상적으로 정당한 공존 질환과 잠재적으로 문제시될 수 있는 기록 패턴(예: Black 환자에게서 더 자주 사용되는 'difficult'(어려움) 등의 부정적 묘사)의 조합에 의해 주로 이뤄졌다.
• 시뮬레이션 연구에서 인종 정제된 기록으로 훈련된 모델들 역시 차별적 치료 권고를 내놓았으며, Black 환자는 White 환자에 비해 최대 10퍼센트 낮은 확률로 치료가 권고되었다.
• 이 연구는 명시적인 인종 변수를 제거한다고 해서 AI 모델에서 인종 편향이 완전히 제거되지 않음을 확인하였으며, 임상 기록의 관련 언어 패턴을 통해 여전히 인종을 추론할 수 있음을 보여준다.