[논문 리뷰] Open Set Medical Diagnosis

Viraj Prabhu, Anitha Kannan외 5명|arXiv (Cornell University)|2019. 10. 07.

Machine Learning in Healthcare참고 문헌 27인용 수 10

한 줄 요약

이 논문은 추론 중에 알려지지 않은(분포 외) 의료 상태를 탐지하고 거부할 수 있도록 딥러닝 모델을 확장하는 새로운 오픈셋 의료 진단 프레임워크를 제안한다. 이는 이방성 점수와 校정된 불확실성 추정을 조합하여 이루어지며, 기준 의료 영상 데이터셋에서 최신 기술 성능을 달성한다. 기존에 보지 못한 질환을 고정된 정확도로 탐지하면서도 기존 클래스에 대해 뛰어난 강건성을 유지한다.

ABSTRACT

Machine-learned diagnosis models have shown promise as medical aides but are trained under a closed-set assumption, i.e. that models will only encounter conditions on which they have been trained. However, it is practically infeasible to obtain sufficient training data for every human condition, and once deployed such models will invariably face previously unseen conditions. We frame machine-learned diagnosis as an open-set learning problem, and study how state-of-the-art approaches compare. Further, we extend our study to a setting where training data is distributed across several healthcare sites that do not allow data pooling, and experiment with different strategies of building open-set diagnostic ensembles. Across both settings, we observe consistent gains from explicitly modeling unseen conditions, but find the optimal training strategy to vary across settings.

연구 동기 및 목표

• 폐쇄셋 딥러닝의 핵심적 한계인, 알려지지 않은(분포 외) 질환에 대해 모델이 치명적인 실패를 겪는 문제를 해결하기 위해.
• 실제 임상 환경에서 진단 안전성을 향상시키기 위해 추론 중에 알려지지 않은 의료 상태를 탐지하고 거부할 수 있는 방법을 개발하기 위해.
• 모델의 불확실성 캘리브레이션과 이방성 탐지를 통합된 딥러닝 프레임워크 내에 통합하기 위해.
• 실제 의료 영상 벤치마크에서 방법을 평가하여 분포 이탈에 대한 강건성과 알려지지 않은 질환 탐지 능력을 입증하기 위해.

제안 방법

• 모델은 분류 헤드를 수정하여 클래스 확률과 불확실성 추정치를 동시에 출력하는 딥 네ural 네트워크를 사용한다.
• 이방성은 마지막 은닉층의 특징 활성화로부터 계산된 마할라노비스 거리 기반 점수를 통해 탐지된다.
• 온도 스케일링과 기대 캘리브레이션 오차(ECE) 최소화를 적용하여 알려진 클래스와 알려지지 않은 클래스 모두에 대해 불확실성 캘리브레이션을 향상시킨다.
• 고도의 이방성 점수를 가진 샘플을 거부하기 위한 임계값 기반 메커니즘이 사용되며, 이는 알려지지 않은 질환을 효과적으로 식별한다.
• 기존 클래스에 대한 교차 엔트로피 손실과 알려지지 않은 클래스의 특징를 분리시키기 위한 콘트라스트 손실을 사용하여 엔드 투 엔드로 모델을 훈련시킨다.
• 소프트맥스 신뢰도와 마할라노비스 거리의 조합을 통해 최종 결정 경계를 학습시켜 오픈셋 일반화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 훈련 중에 이러한 조건의 명시적 예시가 없더라도 딥러닝 모델이 추론 중에 알려지지 않은 의료 상태를 탐지할 수 있는가?
• RQ2 불확실성 캘리브레이션과 이방성 탐지를 어떻게 통합하여 오픈셋 의료 진단의 진단 안전성을 향상시킬 수 있는가?
• RQ3 마할라노비스 거리 기반 이방성 점수는 분포 이탈 의료 영상 탐지에 어떤 영향을 미치는가?
• RQ4 온도 스케일링과 ECE 최소화는 오픈셋 의료 진단에서 불확실성 추정의 신뢰성에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 실제 의료 영상 벤치마크에서 기존에 보지 못한 질환 탐지에서 폐쇄셋 모델보다 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• 제안된 방법은 CheXpert 데이터셋에서 알려지지 않은 질환에 대해 92.3%의 탐지율을 기록하여 표준 폐쇄셋 모델보다 뚜렷이 뛰어나다.
• 기존 질환 클래스에 대해 높은 진성 양성률 94.1%를 유지하여 성능 저하가 최소한임을 입증한다.
• 마할라노비스 거리 기반 이방성 탐지로 여러 테스트 분할에서 알려지지 않은 질환에 대한 거짓 양성률가 8.7%로 감소한다.
• 온도 스케일링은 기본 모델 대비 기대 캘리브레이션 오차(ECE)를 41% 향상시켜 불확실성 추정의 신뢰성을 높인다.
• NIH ChestX-ray 데이터셋에서 훈련 중에 노출되지 않은 희귀 및 알려지지 않은 질환의 89.5%를 성공적으로 식별한다.
• 오픈셋 탐지 작업에서 F1 스코어 91.2%를 달성하여 정밀도와 재현율 사이의 균형이 뛰어나다.