[논문 리뷰] Echoes of Biases: How Stigmatizing Language Affects AI Performance

Yizhi Liu, Weiguang Wang외 2명|arXiv (Cornell University)|2023. 05. 17.

Machine Learning in Healthcare인용 수 4

한 줄 요약

이 연구는 전자 건강 기록(EHR)에서의 경멸적 언어(SL)가 인공지능(AI)의 사망 예측 성능, 특히 흑인 환자에게서 어떻게 악화되는지 조사한다. 트랜스포머 기반 모델과 해석 가능한 AI를 사용하여, 협업 네트워크 내 핵심 임상의가 인종적 격리의 주요 원인임을 밝히고, 전체 데이터 코퍼스에서의 SL 제거보다 이러한 임상의의 SL 제거가 더 효과적으로 편향을 완화함을 입증한다.

ABSTRACT

Electronic health records (EHRs) serve as an essential data source for the envisioned artificial intelligence (AI)-driven transformation in healthcare. However, clinician biases reflected in EHR notes can lead to AI models inheriting and amplifying these biases, perpetuating health disparities. This study investigates the impact of stigmatizing language (SL) in EHR notes on mortality prediction using a Transformer-based deep learning model and explainable AI (XAI) techniques. Our findings demonstrate that SL written by clinicians adversely affects AI performance, particularly so for black patients, highlighting SL as a source of racial disparity in AI model development. To explore an operationally efficient way to mitigate SL's impact, we investigate patterns in the generation of SL through a clinicians' collaborative network, identifying central clinicians as having a stronger impact on racial disparity in the AI model. We find that removing SL written by central clinicians is a more efficient bias reduction strategy than eliminating all SL in the entire corpus of data. This study provides actionable insights for responsible AI development and contributes to understanding clinician behavior and EHR note writing in healthcare.

연구 동기 및 목표

• 전자 건강 기록(EHR) 노트의 경멸적 언어(SL)가 AI 기반 사망 예측 성능에 미치는 영향을 조사하는 것.
• SL이 AI 모델 결과에서 인종적 격리에 어떻게 기여하는지 규명하는 것.
• SL 생성에서의 임상의 영향을 분석하여 운영적으로 효율적인 편향 감소 전략을 탐색하는 것.
• 전체 데이터셋에서의 SL 제거와 비교해 핵심 임상의의 SL 제거가 편향 완화에 얼마나 효과적인지 평가하는 것.

제안 방법

• EHR 노트를 기반으로 한 트랜스포머 기반 딥러닝 모델을 개발하여 입원 중 사망을 예측한다.
• 모델 예측을 해석하고 특성 중요도를 평가하기 위해 해석 가능한 AI(XAI) 기법을 적용한다.
• SL 기여 패턴을 기반으로 네트워크 중심성을 기준으로 핵심 임상의를 식별하기 위해 임상의 협업 네트워크를 구축한다.
• SL 제거의 효율성을 비교하기 위해 먼저 전체 데이터셋에서, 그 다음 핵심 임상의의 SL에 대해 선택적으로 제거하는 방식으로 SL를 체계적으로 제거한다.
• 모델 성능 평가에 AUC-ROC와 같은 지표를 사용하며, 인종에 따른 하위군 분석을 통해 격리 수준을 평가한다.
• 임상의의 SL 전파에 대한 영향력을 정량화하기 위해 네트워크 중심성 지표(예: 차수, 중간성)를 사용한다.

실험 결과

연구 질문

• RQ1 EHR 노트의 경멸적 언어가 AI 모델의 환자 사망 예측 성능에 어떤 영향을 미치는가?
• RQ2 경멸적 언어가 AI 기반 사망 예측에서 인종적 격리에 얼마나 기여하는가?
• RQ3 어떤 임상의가 경멸적 언어 생성에서 가장 영향력이 큰가, 그들의 역할은 모델 편향에 어떻게 영향을 미치는가?
• RQ4 전체 데이터셋에서의 SL 제거보다 핵심 임상의의 SL 제거가 편향 완화에 더 효과적인가?

주요 결과

• EHR 노트의 경멸적 언어는 특히 흑인 환자에서 AI 모델 성능을 심각하게 악화시키며, 이 하위군에서 AUC-ROC가 뚜렷이 감소한다.
• 네트워크 중심성이 높은 핵심 임상의는 비례적으로 많은 경멸적 언어를 생성하며, 모델 예측에서 인종적 격리가 심화되는 데 강하게 연관되어 있다.
• 전체 데이터셋에서의 SL 제거보다 핵심 임상의의 SL 제거가 인종적 격리 감소에 더 효과적임을 확인하였다.
• 핵심 임상의의 SL 제거 시 모델 성능이 뚜렷이 향상되어, 이들의 편향 전파에 미치는 영향력이 높다는 것을 시사한다.
• 해석 가능한 AI 분석 결과, 흑인 환자에 대한 예측에서 SL 특성이 비례적으로 더 무겁게 작용함을 확인하여 기존의 격리를 강화함을 입증하였다.
• 이 연구는 전체 데이터 정제보다 핵심 임상의에 대한 대상적 개입이 편향 완화에 더 효율적이고 확장 가능한 전략임을 입증하였다.