[논문 리뷰] Quantifying Intrinsic Uncertainty in Classification via Deep Dirichlet Mixture Networks

Qingyang Wu, He Li외 2명|arXiv (Cornell University)|2019. 06. 11.

Gaussian Processes and Bayesian Inference참고 문헌 23인용 수 7

한 줄 요약

이 논문은 분류 확률을 디리클레 혼합 분포에서 추출된 랜덤 변수로 모델링하여 딥 러닝 분류에서의 내재 불확실성을 정량화하기 위해 딥 디리클레 혼합 네트워크(DDMN)를 제안한다. 이 방법은 다중 레이블을 가진 샘플을 활용하여 예측 확률의 진정된 분포를 학습하여 불확실성을 반영하는 신뢰구간을 생성한다. 알츠하이머병 진단에 대한 MRI 데이터에서 효과적으로 검증되었으며, 넓은 구간은 레이블 간 불일치와 낮은 신뢰도를 나타낸다.

ABSTRACT

With the widespread success of deep neural networks in science and technology, it is becoming increasingly important to quantify the uncertainty of the predictions produced by deep learning. In this paper, we introduce a new method that attaches an explicit uncertainty statement to the probabilities of classification using deep neural networks. Precisely, we view that the classification probabilities are sampled from an unknown distribution, and we propose to learn this distribution through the Dirichlet mixture that is flexible enough for approximating any continuous distribution on the simplex. We then construct credible intervals from the learned distribution to assess the uncertainty of the classification probabilities. Our approach is easy to implement, computationally efficient, and can be coupled with any deep neural network architecture. Our method leverages the crucial observation that, in many classification applications such as medical diagnosis, more than one class labels are available for each observational unit. We demonstrate the usefulness of our approach through simulations and a real data example.

연구 동기 및 목표

• 분류 작업에 대한 딥 네ural 네트워크 예측에서 명시적인 불확실성 정량화의 부족을 해결하기 위해.
• 분류 확률을 고정된 값이 아닌 분포가 알려지지 않은 랜덤 변수로 모델링하기 위해.
• 의료 및 과학 응용 분야에서 흔한 다중 레이블을 활용하여 예측 확률의 진정된 분포를 추정하기 위해.
• 점 추정치와 함께 불확실성을 반영하는 신뢰구간을 생성하여 보다 나은 의사결정을 가능하게 하기 위해.
• MCMC나 복잡한 베이지안 학습을 필요로 하지 않는, 계산적으로 효율적인 빈도주의 기반 방법을 통해 베이지안 스타일의 불확실성 진술을 제공하기 위해.

제안 방법

• 분류 확률을 단형상의 알려지지 않은 분포에서 추출된 실현값으로 모델링하며, K개 성분을 가진 디리클레 혼합 분포로 근사한다.
• 이진 분류에 대해 베타 혼합 모델을 사용하고, 다중 클래스로 확장하기 위해 디리클레 분포를 활용한다.
• 표준 딥 뉴럴 네트워크에 추가 출력층으로 혼합 모델을 통합하여 아키텍처의 유연성을 유지한다.
• 관측된 다중 레이블 데이터의 음의 로그우도를 사용하여 최대우도 기반으로 혼합 모델의 파라미터를 추정한다.
• 학습된 혼합 분포에서 신뢰구간을 구성하여 예측 확률의 불확실성을 정량화한다.
• 베이지안 사후 분포 샘플링이나 MCMC를 요구하지 않는 빈도주의 추론 프레임워크를 활용하여 베이지안 스타일의 신뢰구간을 생성한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크를 확장하여 분류 확률의 점 추정치 외에도 내재 불확실성을 반영하는 신뢰구간을 생성할 수 있는가?
• RQ2 샘플당 다중 레이블을 어떻게 활용하여 분류 확률의 진정된 분포를 모델링할 수 있는가?
• RQ3 레이블 일치도가 낮은 경우, 예를 들어 혼합 진단 평가에서 제안된 방법이 더 신뢰할 수 있는 불확실성 추정치를 제공하는가?
• RQ4 이 방법은 효율적으로 구현 가능하며, 어떤 표준 딥 러닝 아키텍처와도 통합 가능한가?
• RQ5 신뢰구간의 너비는 레이블 불일치와 모델 신뢰도와 어떻게 관련이 있는가?

주요 결과

• 알츠하이머병 MRI 데이터셋에서, NC+MCI 진단이 일치한 환자는 예측된 AD 확률이 0.1 이하이며, 신뢰구간 너비가 0.15 이하로 나타나 높은 신뢰도와 낮은 불확실성을 나타냈다.
• AD 진단이 일치한 환자 역시 좁은 신뢰구간을 보이며, 일관되고 확신 있는 예측을 나타냈다.
• 혼합 진단 레이블(MIX 그룹)을 가진 환자들은 신뢰구간이 상당히 넓었으며, 너비가 0.3를 초과하여 레이블 불일치로 인한 높은 불확실성을 나타냈다.
• MMSE 점수가 정확히 23 기준선에 있는 환자 4번은 예측 확률이 0.45였고, 너비가 0.3인 넓은 신뢰구간을 보이며 애매한 레이블링으로 인한 불확실성을 나타냈다.
• 이 방법은 효과적으로 불확실성을 포착했다: MIX 그룹에서는 항상 넓은 구간이 관찰되었고, 좁은 구간은 레이블 일치와 관련이 있었다.
• 이 방법은 신뢰구간 너비가 레이블 불일치와 관련이 있음을 보여주었으며, 실제 환경에서 모델의 신뢰도를 신뢰할 수 있는 지표로 제공했다.