[논문 리뷰] Learn to Estimate Labels Uncertainty for Quality Assurance

Agnieszka Tomczack, Nassir Navab외 1명|arXiv (Cornell University)|2019. 09. 17.

Machine Learning in Healthcare참고 문헌 14인용 수 5

한 줄 요약

이 논문은 몬테카를로 드롭아웃을 활용한 변분 autoencoder 기반 접근을 통해 지식적 불확실성(모델 불확실성)과 레이블 불확실성(의료 영상 주석에서의 관찰자 간 변동성)을 동시에 모델링하는 새로운 딥러닝 프레임워크를 제안한다. 이 방법은 레이블 불확실성—특정 주석자에 대한 잠재 코드를 위한 사후 인코더를 통해 캡처된 바—가 지식적 불확실성만을 고려할 때보다 더 정확하고 명확한 불확실성 측도를 제공함을 입증한다. 특히 노이즈가 많거나 모호한 레이블을 가진 임상 데이터셋에서 그러한 성능 향상이 두드러진다.

ABSTRACT

Deep Learning sets the state-of-the-art in many challenging tasks showing outstanding performance in a broad range of applications. Despite its success, it still lacks robustness hindering its adoption in medical applications. Modeling uncertainty, through Bayesian Inference and Monte-Carlo dropout, has been successfully introduced for better understanding the underlying deep learning models. Yet, another important source of uncertainty, coming from the inter-observer variability, has not been thoroughly addressed in the literature. In this paper, we introduce labels uncertainty which better suits medical applications and show that modeling such uncertainty together with epistemic uncertainty is of high interest for quality control and referral systems.

연구 동기 및 목표

• 의료 영상에 대한 딥러닝에서의 강력한 불확실성 정량화 부족, 특히 주석에서의 관찰자 간 변동성에 초점을 맞춘다.
• 기존의 지식적 불확실성에만 의존하는 방법이 임상의사 간의 불일치로 인한 레이블 노이즈로 인한 불확실성을 포착하지 못함을 규명한다.
• 몬테카를로 드롭아웃을 통한 지식적 불확실성과 주석자 변동성에 대한 사후 인코더를 통한 레이블 불확실성을 명시적으로 모델링하는 통합 프레임워크를 개발한다.
• 레이블 불확실성이 지식적 불확실성에 의해 포함되지 않는, 의료 응용 분야에서 별개이자 핵심적인 불확실성 원천임을 입증한다.
• 임상의사가 진단 예측에 대해 이해할 수 있고 원인 기반의 불확실성 추정을 제공함으로써 품질 관리 및 전문의뢰 시스템을 지원한다.

제안 방법

• 모델 가중치(지식적 불확실성)와 개별 주석자에 해당하는 잠재 코드(레이블 불확실성)를 모두 모델링하는 변분 베이지안 신경망을 수립한다.
• 다중 평가자 레이블에서 관찰자 간 변동성을 추론하기 위해 사후 인코더 $ p_{ heta}(oldsymbol{z}_y | oldsymbol{X}, oldsymbol{Y}) $ 를 사용한다.
• 소프트맥스 레이어 이전의 최종 특징 맵에 레이블 불확실성 벡터 $ oldsymbol{z}_y $ 를 연결하여 통합한다.
• 추론 중 몬테카를로 드롭아웃을 적용하여 지식적 불확실성을 추정하고, 레이블 불확실성은 $ oldsymbol{z}_y $ 의 사후 분포의 분산에서 유도한다.
• 모델 가중치와 레이블 불확실성에 대해 별도의 KL 발산 항을 포함한 변분 하한(ELBO)을 최적화한다.
• 학습 중 $ oldsymbol{z}_y $ 는 사후에서 샘플링되고, 추론 중에는 사전 인코더 $ p_{oldsymbol{ heta}}(oldsymbol{z}_y | oldsymbol{X}) $ 에서 샘플링된다.

실험 결과

연구 질문

• RQ1 의료 주석에서의 관찰자 간 변동성으로 인한 레이블 불확실성은 딥러닝에서 지식적 불확실성과 효과적으로 구분되고 모델링될 수 있는가?
• RQ2 레이블 불확실성을 모델링하면, 단지 지식적 불확실성에 의존하는 것보다 임상 영상 작업에서 더 신뢰할 수 있는 불확실성 추정이 가능한가?
• RQ3 기본 레이블이 모호하거나 일관되지 않게 주석된 경우, 제안된 프레임워크는 불확실한 샘플을 어떻게 탐지하는가?
• RQ4 해당 프레임워크는 임상의사가 이해할 수 있고 원인 기반의 불확실성 추정을 제공함으로써 품질 관리 및 전문의뢰 시스템을 향상시킬 수 있는가?
• RQ5 레이블 불확실성은 지식적 불확실성보다 높은 관찰자 간 불일치를 가진 샘플을 식별하는 데 더 유용한가?

주요 결과

• 인위적으로 레이블 노이즈를 도입한 MNIST 데이터셋(25% 클래스 교환)에서, 제안된 방법은 변화하지 않은 클래스에 대해 근처 0인 레이블 불확실성(0.5502 ± 0.5789)을 보이며, 변화한 클래스에 대해 유의미하게 높은 값을 기록하여 관찰자 간 변동성을 정확히 반영한다.
• 반면, 지식적 불확실성(EU)은 특히 테스트 세트에서 높은 분산과 신뢰할 수 없는 지표를 보이며, 진짜 레이블 불확실성과 모델 불확실성을 구분하지 못함을 시사한다.
• CheXpert 데이터셋에서 제안된 레이블 불확실성(LU) 지표는 확산(Consolidation, 0.0283)과 기흉(Atelectasis, 0.0609) 클래스에서 높은 불확실성 수준을 정확히 식별한다. 이 두 클래스는 모두 높은 비율의 불확실한 레이블을 포함하고 있다. 반면 지식적 불확실성은 낮은 수준(0.0001–0.0024)을 유지한다.
• 불확실한 레이블을 도입한 후 AUC가 제안된 모델에서 0.71에서 0.51로, 기준 모델에서 0.52로 하락했음에도 불구하고, 레이블 불확실성 지표는 데이터의 불확실성 증가를 안정적으로 반영한다.
• 결과는 레이블 불확실성과 지식적 불확실성이 별개이자 상호보완적임을 확인한다: 지식적 불확실성만으로는 관찰자 간 변동성을 포착하지 못하지만, 레이블 불확실성은 이를 효과적으로 반영한다.
• 이 프레임워크는 모호하거나 일관되지 않은 케이스를 신뢰성 있게 식별함으로써, 의료 AI 시스템의 임상 의사결정 지원 및 품질 보증을 지원한다.