[논문 리뷰] Three Applications of Conformal Prediction for Rating Breast Density in Mammography

Charles Lu, Ken Chang외 2명|arXiv (Cornell University)|2022. 06. 23.

AI in cancer detection인용 수 5

한 줄 요약

이 논문은 유방 조영촬영에서 유방 밀도 평가를 자동화하기 위해 공형 예측을 적용하여, 분포 이탈 탐지에 대한 불확실성 정량화, 선택적 분류를 통한 예측 품질 향상, 및 하위군 간 공정성 평가에서의 유용성을 입증한다. 결과적으로 공형 예측은 이론적 보장과 성능 및 형평성 향상의 측정 가능한 성과를 바탕으로 딥러닝 모델의 신뢰성과 임상적 활용 가능성을 향상시킨다.

ABSTRACT

Breast cancer is the most common cancers and early detection from mammography screening is crucial in improving patient outcomes. Assessing mammographic breast density is clinically important as the denser breasts have higher risk and are more likely to occlude tumors. Manual assessment by experts is both time-consuming and subject to inter-rater variability. As such, there has been increased interest in the development of deep learning methods for mammographic breast density assessment. Despite deep learning having demonstrated impressive performance in several prediction tasks for applications in mammography, clinical deployment of deep learning systems in still relatively rare; historically, mammography Computer-Aided Diagnoses (CAD) have over-promised and failed to deliver. This is in part due to the inability to intuitively quantify uncertainty of the algorithm for the clinician, which would greatly enhance usability. Conformal prediction is well suited to increase reliably and trust in deep learning tools but they lack realistic evaluations on medical datasets. In this paper, we present a detailed analysis of three possible applications of conformal prediction applied to medical imaging tasks: distribution shift characterization, prediction quality improvement, and subgroup fairness analysis. Our results show the potential of distribution-free uncertainty quantification techniques to enhance trust on AI algorithms and expedite their translation to usage.

연구 동기 및 목표

• 딥러닝 모델의 유방 밀도 평가에 대해 불확실성이 정량화되지 않아 임상적 신뢰도가 낮은 문제를 해결하기 위해.
• 실제 의료 영상 데이터셋에서 불확실성 정량화를 위한 분포 무관 방법으로 공형 예측을 평가하기 위해.
• 세 가지 실용적 응용 사례를 입증하기 위해: 분포 이탈 탐지, 선택적 분류를 통한 예측 품질 향상, 하위군 공정성 분석.
• 임상의가 이해하기 쉬운, 이론적으로 탄탄한 불확실성 추정치를 제공하여 임상 의사결정 지원을 위해.

제안 방법

• 유방 밀도 분류를 위한 딥러닝 모델(EfficientNet-B3)의 소프트맥스 출력에서 유도된 비공형성 점수를 기반으로 공형 예측을 적용한다.
• 예측 집합은 테스트 샘플을 비공형성 점수 기준으로 정렬하고, 별도의 검증 세트를 사용해 校정한다.
• 분포 이탈 분석을 위해 내부(DFMIST) 및 외부(MGH) 테스트 세트 간 예측 집합 크기를 비교하여 성능 저하 여부를 확인한다.
• 선택적 분류는 높은 불확실성(집합 크기 = 4)을 가진 예측을 유예함으로써 코HEN의 카파와 같은 전반적 성능 지표를 향상시킨다.
• 공정성 분석은 연령, 인종, 유방 크기, 스캐너 유형별 하위군별로 별도로 공형 예측을 校정하여 불확실성 격차를 탐지한다.
• 하위군 간 예측 집합 크기의 차이에 대한 통계적 유의성을 p-값(p < 0.001)을 사용해 평가한다.

실험 결과

연구 질문

• RQ1 공형 예측은 다기관 유방 조영촬영 데이터에서 분포 이탈을 효과적으로 탐지할 수 있는가?
• RQ2 공형 예측을 활용한 선택적 분류가 자동 유방 밀도 예측의 품질을 얼마나 향상시킬 수 있는가?
• RQ3 연령, 인종, 유방 크기, 스캐너 유형과 같은 임상적으로 관련 있는 하위군 간 불확실성 격차는 측정 가능한가?
• RQ4 실제 임상 환경에서 공형 예측의 불확실성 정량화는 기존 딥러닝 모델과 비교해 어떻게 다를까?

주요 결과

• α = 0.05일 때, 공형 예측은 커버리지 위반률을 0.07로 감소시켰고, 선택적 분류를 통해 코헨의 카파를 0.61에서 0.72로 향상시켰다. 이는 56%의 예측이 유예된 대가를 치르면서 이루어졌다.
• 외부 테스트 세트(MGH)는 내부 테스트 세트(DMIST)보다 예측 집합 크기가 유의미하게 크게 나타났고, 전체 집합 예측(크기 4) 빈도도 더 높아, 분포 이탈이 확인되었다.
• 하위군 분석에서 큰 유방을 가진 환자, 라틴계/히스패닉계 환자, 50세 이상 환자, 스캐너 유형 B로 촬영된 환자에서 평균 예측 집합 크기에 통계적으로 유의미한 차이(p < 0.001)가 나타났다.
• 외부 테스트 세트에서 두꺼운 유방 카테고리의 평균 집합 크기가 가장 높아, 이 카테고리에 대해 일반화 불확실성이 더 높다는 것을 시사한다.
• 공형 예측 프레임워크는 나이와 유방 부피와 같은 알려진 혼동 요인과 연관된 임상적으로 관련 있는 불확실성 패턴을 성공적으로 식별했다.
• 본 연구는 공형 예측이 이해하기 쉬운 이론적 근거를 바탕으로 한 불확실성 추정치를 제공함으로써 임상 AI 시스템의 신뢰성과 형평성을 향상시킬 수 있음을 입증한다.