[논문 리뷰] Calibrating Healthcare AI: Towards Reliable and Interpretable Deep Predictive Models

Jayaraman J. Thiagarajan, Prasanna Sattigeri외 2명|arXiv (Cornell University)|2020. 04. 27.

Explainable Artificial Intelligence (XAI)참고 문헌 26인용 수 15

한 줄 요약

이 논문은 분리된 잠재 표현과 역설적 추론을 활용하여 건강의료 AI의 신뢰성과 해석 가능성을 향상시키는 校정 기반 학습 프레임워크를 제안한다. 예측 간격을 공동 校정 목표로 최적화함으로써 모델의 신뢰도 캘리브레이션을 향상시키고, 생성된 역설적 증거를 통한 엄밀한 내성 분석을 가능하게 하여 피부병변 분류에서의 유사 상관관계, 클래스 간 관계 및 불확실성 영역을 드러낸다.

ABSTRACT

The wide-spread adoption of representation learning technologies in clinical decision making strongly emphasizes the need for characterizing model reliability and enabling rigorous introspection of model behavior. While the former need is often addressed by incorporating uncertainty quantification strategies, the latter challenge is addressed using a broad class of interpretability techniques. In this paper, we argue that these two objectives are not necessarily disparate and propose to utilize prediction calibration to meet both objectives. More specifically, our approach is comprised of a calibration-driven learning method, which is also used to design an interpretability technique based on counterfactual reasoning. Furthermore, we introduce extit{reliability plots}, a holistic evaluation mechanism for model reliability. Using a lesion classification problem with dermoscopy images, we demonstrate the effectiveness of our approach and infer interesting insights about the model behavior.

연구 동기 및 목표

• 모델 신뢰도가 잘못 校정될 수 있는 임상 의사결정에서 신뢰할 만하고 해석 가능한 딥 러닝 모델의 필수적 필요성을 해결하기 위해.
• 모델의 신뢰도(불확실성 정량화)와 해석 가능성(모델 내성 분석) 간 격차를 校정 기반 프레임워크에 통합함으로써 메우기 위해.
• 전문가 피드백을 통합하여 모델 자율성과 일반화 능력을 평가할 수 있는 통합 평가 메커니즘인 신뢰도 플롯을 개발하기 위해.
• 분리된 잠재 공간에서의 역설적 증거 기반으로 새로운 해석 가능성 기법을 개발하여, 모델 행동의 엄밀한 국소 분석을 가능하게 하기 위해.

제안 방법

• 이 방법은 DIP-VAE를 사용하여 피부병변 영상의 의미 있는 변동 요인을 분리하는 분리된 잠재 표현을 학습한다.
• 예측 간격을 최적화하기 위해 공동 校정 목표를 설정함으로써, 입력에 대한 의미적 유사성, 간격 너비, 예측 신뢰도(엔트로피 최소화를 통한)를 균형 잡는다.
• 핵심 최적화(식 3)는 재구성 손실, 간격 너비 최대화, 엔트로피 최소화의 가중 조합을 사용하여 잠재 공간에서 역설적 증거를 생성한다.
• 역설적 증거는 의미적으로 유사한 이미지를 생성하고 높은 신뢰도의 예측을 내기 위해 잠재 코드를 최적화함으로써 생성되며, 이는 통제된 변형 조건에서 모델 행동 분석을 가능하게 한다.
• 신뢰도 플롯은 전문가 피드백을 통합하여 모델 자율성과 일반화 능력 간의 상충 관계를 평가하는 통합 평가 도구로 도입된다.
• 이 방법은 분리된 잠재 차원을 조작하여 역설적 추론을 가능하게 하여, 미세한 영상 변화가 예측 신뢰도와 클래스 결과에 어떻게 영향을 미치는지 탐색할 수 있다.

실험 결과

연구 질문

• RQ1 예측 캘리브레이션은 모델의 신뢰도 향상 외에도 역설적 추론을 통해 엄밀한 국소 해석 가능성을 제공할 수 있는가?
• RQ2 분리된 잠재 표현은 건강의료 응용 분야에서 딥 러닝 모델의 해석 가능성과 강건성에 어떻게 기여하는가?
• RQ3 캘리브레이션된 역설적 증거를 사용하여 모델 행동에 대한 통찰, 예를 들어 유사 상관관계나 클래스 의존성은 무엇인가?
• RQ4 제안된 신뢰도 플롯 메커니즘은 추론 중 전문가 피드백을 통합함으로써 모델의 신뢰도 평가를 어떻게 향상시키는가?
• RQ5 캘리브레이션된 예측 간격은 병변 분류에서 모델의 강점, 약점 및 불확실성 영역을 어느 정도 드러내는가?

주요 결과

• 제안된 방법은 낮은 의미적 이질성(높은 SSIM)을 가지지만 예측 엔트로피가 상당히 낮은 역설적 증거를 생성하여, 모델이 확신 있는 예측을 위해 클래스 특이 패턴을 강조한다는 것을 보여준다.
• 모델은 복잡한 클래스 간 관계를 보이며, 분리된 잠재 공간에서의 미세한 변형이 예측된 질환 결과를 완전히 변화시킬 수 있다. 예를 들어, 미세한 변화를 통해 모낭성 날개종 예측을 완전히 제거할 수 있다.
• 높은 성능을 보이는 모델조차도 불필요한 역할을 하는 유사 상관관계에 의존하는 경향이 있다. 예를 들어, 병변 특징이 아닌 모서리 영역에 반응하는 경우가 있으며, 이는 병변을 변경하지 않고도 예측을 바꾸는 역설적 증거로 확인된다.
• 엔트로피 항의 부호 변화를 통해 다양한 신뢰도 영역에서 증거를 생성함으로써, 비대칭성, 경계, 색소, 지름 등의 해석 가능한 임상 규칙이 신뢰도 변화와 관련이 있음을 드러내어 모델의 통합적 이해를 가능하게 한다.
• 신뢰도 플롯은 제안된 모델이 표준 딥 네트워크 및 앙상블 방법보다 우수한 성능을 보이며, 전문가가 피드백 루프에 참여함으로써 보다 뛰어난 캘리브레이션과 일반화 능력을 확보한다는 것을 입증한다.
• 분석을 통해 명확한 불확실성 영역가 드러나며, 모델의 신뢰도가 종종 진짜 병변과 관련 없는 통계적 패턴에 의해 이끌린다는 점이 확인되어 임상 적용 시 리스크를 드러낸다.