[논문 리뷰] Understanding Behavior of Clinical Models under Domain Shifts

Jayaraman J. Thiagarajan, Deepta Rajan외 1명|arXiv (Cornell University)|2018. 09. 20.

Machine Learning in Healthcare참고 문헌 7인용 수 9

한 줄 요약

이 논문은 MIMIC-III EHR 데이터셋과 1D ResNet 모델을 사용하여 실제 도메인 이탈(예: 인구 편향, 레이블 분포 이탈, 측정 불일치) 상황에서 임상 딥러닝 모델을 평가하기 위한 프레임워크를 제안한다. 분석 결과, 이전에 또는 주로 백인 환자에서 훈련된 모델은 연령대나 少수 집단에서 일반화 성능이 떨어지며, 특히 질병 동시 발생 패턴이 다를 경우 심각한 일반화 격차를 보인다. 이는 의료 AI 분야에서의 신뢰성에 치명적인 결함을 드러낸다.

ABSTRACT

The hypothesis that computational models can be reliable enough to be adopted in prognosis and patient care is revolutionizing healthcare. Deep learning, in particular, has been a game changer in building predictive models, thus leading to community-wide data curation efforts. However, due to inherent variabilities in population characteristics and biological systems, these models are often biased to the training datasets. This can be limiting when models are deployed in new environments, when there are systematic domain shifts not known a priori. In this paper, we propose to emulate a large class of domain shifts, that can occur in clinical settings, with a given dataset, and argue that evaluating the behavior of predictive models in light of those shifts is an effective way to quantify their reliability. More specifically, we develop an approach for building realistic scenarios, based on analysis of extit{disease landscapes} in multi-label classification. Using the openly available MIMIC-III EHR dataset for phenotyping, for the first time, our work sheds light into data regimes where deep clinical models can fail to generalize. This work emphasizes the need for novel validation mechanisms driven by real-world domain shifts in AI for healthcare.

연구 동기 및 목표

• 훈련 과정에서 포착되지 않은 실제 도메인 이탈 상황에서 임상 딥러닝 모델이 어떻게 실패하는지 이해하기 위해.
• 모델 일반화에 가장 심각한 영향을 미치는 특정 유형의 도메인 이탈(인구 편향, 레이블 분포 이탈, 측정 불일치)을 규명하기 위해.
• 다중 레이블 EHR 데이터에서 질병 구조 분석을 활용해 임상적으로 관련성이 있는 도메인 이탈을 시뮬레이션하는 체계적 방법을 개발하기 위해.
• MIMIC-III EHR 데이터셋을 사용하여 이러한 도메인 이탈 상황에서 최신 1D ResNet 모델의 강건성 평가하기 위해.
• 실제 도메인 이탈에 기반한 새로운 검증 메커니즘을 제안하여 의료 분야에서 AI의 신뢰성 향상하기 위해.

제안 방법

• 25개 질병 카테고리에 걸쳐 ICU 환자당 평균 76개 측정값을 포함하는 MIMIC-III EHR 데이터셋을 사용하여 다중 레이블 표현형 분석을 수행한다.
• 도메인 이탈 상황에서 모델 행동을 평가하기 위해 특정 질병 집합에 대해 표현형 분석을 이진 분류 과제로 재정의한다.
• 시간 시리즈 모델링을 위해 7개의 잔차 블록, 1D 컨볼루션, 배치 정규화, 드롭아웃, 리 leaking ReLU 활성화 함수를 활용한 1D ResNet 모델을 적용한다.
• 질병 동시 발생 패턴 분석을 위해 정보 분해 기법을 활용하고, 도메인 이탈 시뮬레이션을 위한 질병 지도를 구축한다.
• 예: 노인에서 젊은 환자로, 백인에서 少수 집단으로, 남성에서 여성으로, 단일 질병 그룹에서 이중 질병 그룹으로의 소스-타겟 데이터 분할을 통한 도메인 이탈 시뮬레이션을 수행한다.
• 결측 측정값은 마지막으로 관측된 값을 반복하여 보간하고, 이격된 상황에서의 성능 평가를 위해 가중치 AUPRC를 사용한다.

실험 결과

연구 질문

• RQ1 나이, 인종, 성별 등의 인구 편향이 임상 딥러닝 모델의 일반화 성능에 어떤 영향을 미치는가?
• RQ2 새로운 또는 누락된 질병 조합이 포함된 레이블 분포 이탈이 모델 신뢰성에 어느 정도의 영향을 미치는가?
• RQ3 레이블 노이즈 및 샘플링 레이트 변화를 포함한 측정 불일치가 임상 시간 시리즈 예측 성능에 어떤 영향을 미치는가?
• RQ4 어떤 유형의 도메인 이탈이 최신 임상 모델의 성능 저하를 가장 심각하게 유도하는가?
• RQ5 간단한 보간 전략이 도메인 이탈 상황에서 결측 측정값의 영향을 완화시킬 수 있는가?

주요 결과

• 노인에서 젊은 환자, 백인에서 少수 집단, 남성에서 여성으로의 이탈 상황은 심각한 성능 저하를 유발하며, AUPRC가 0.9에서 최소 0.65까지 하락한다.
• 질병 동시 발생 패턴이 변화할 경우 모델의 일반화 능력이 떨어지며, 예를 들어 젊은 환자에서는 관상동맥 경화증이 종종 이차성 고혈압과 만성 신장질환과 함께 나타나지만, 노령 환자에서는 그렇지 않은 경향이 있다.
• 원천 질병의 부분집합 또는 초집합에 해당하는 레이블 분포 이탈(예: 단일-이중: 심장질환 전용 또는 신장질환 전용에서 병합)은 본질적인 생물학적 불확실성으로 인해 상당한 성능 저하를 초래한다.
• 모델은 최대 10%의 레이블 노이즈에 대해 강건하지만, 20%의 레이블 뒤집힘 발생 시 심각하게 성능 저하되며, 이는 레이블 품질에 대한 임계점 효과를 시사한다.
• 샘플링 레이트 변화는 성능에 악영향을 미치며, 단순한 마지막 값 보간 전략은 일반화 능력 복구에 부적합하며, 결측 데이터 보간과는 다름을 보여준다.
• 고령자에서 고혈압, 동맥경화증, 지질 이상 등 강한 동시 발생 패턴을 보이는 데이터로 훈련된 모델은 질병 동시 발생 구조가 다른 집단에서는 일반화에 실패한다.