[논문 리뷰] Probabilistic Neighbourhood Component Analysis: Sample Efficient Uncertainty Estimation in Deep Learning

Ankur Mallick, Chaitanya Dwivedi외 3명|arXiv (Cornell University)|2020. 07. 18.

Anomaly Detection Techniques and Applications참고 문헌 21인용 수 4

한 줄 요약

이 논문은 잠재 공간에서 예측을 확률 분포로 모델링함으로써 kNN을 일반화하는 샘플 효율적이고 불확실성 인식 가능한 딥러닝 방법인 확률적 이웃성분분석(PNCA)을 제안한다. PNCA는 작은 데이터 환경에서 기존의 최고 수준의 모델들인 BNN과 딥 앙상블보다 불확실성 추정 성능을 크게 향상시키며, 정확도를 희생시키지 않은 채 실제 코로나19 X-ray 분류 작업에서 우수한 분포 외 탐지 성능과 과도한 확신을 감소시킨다.

ABSTRACT

While Deep Neural Networks (DNNs) achieve state-of-the-art accuracy in various applications, they often fall short in accurately estimating their predictive uncertainty and, in turn, fail to recognize when these predictions may be wrong. Several uncertainty-aware models, such as Bayesian Neural Network (BNNs) and Deep Ensembles have been proposed in the literature for quantifying predictive uncertainty. However, research in this area has been largely confined to the big data regime. In this work, we show that the uncertainty estimation capability of state-of-the-art BNNs and Deep Ensemble models degrades significantly when the amount of training data is small. To address the issue of accurate uncertainty estimation in the small-data regime, we propose a probabilistic generalization of the popular sample-efficient non-parametric kNN approach. Our approach enables deep kNN classifier to accurately quantify underlying uncertainties in its prediction. We demonstrate the usefulness of the proposed approach by achieving superior uncertainty quantification as compared to state-of-the-art on a real-world application of COVID-19 diagnosis from chest X-Rays. Our code is available at https://github.com/ankurmallick/sample-efficient-uq

연구 동기 및 목표

• 학습 데이터가 제한되었을 때 딥 네URAL 네트워크의 불확실성 추정 성능 저하 문제를 해결하기 위해.
• 낮은 데이터 환경에서 높은 정확도를 유지하면서 신뢰할 수 있는 예측 불확실성 제공가능한 샘플 효율적 방법을 개발하기 위해.
• 잘못 분류되거나 분포가 이동된 입력에서의 과도한 확신을 줄임으로써 분포 외(OOD) 탐지 성능을 향상시키기 위해.
• 의료 진단과 같은 고위험 응용 분야에서 샘플 효율성과 불확실성 校정을 통합하기 위해.
• 특히 흉부 X-ray에서의 코로나19 검출과 같은 실제 소형 데이터 의료 영상 작업에서 제안된 방법의 우수성을 입증하기 위해.

제안 방법

• PNCA는 신경망을 통해 미분 가능한 거리 척도를 학습함으로써 이웃성분분석(NCA)을 확장하여 입력을 잠재 공간으로 매핑한다.
• 입력을 잠재 공간 내 k개의 가장 가까운 이웃에 대한 소프트맥스를 사용하여 클래스에 대한 분포로 모델링함으로써 확률적 예측을 가능하게 한다.
• 최대한의 불확실성 보정을 위해 온도 조절 소프트맥스를 사용한 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 모델을 훈련시킨다.
• 이웃 선택 확률은 잠재 공간 내 제곱 거리의 지수 함수를 사용하여 계산되며, 다른 모든 점들에 대해 정규화된다.
• 표현 학습을 위해 딥 특징 추출기(예: ResNet-50)를 사용하고, 이후 불확실성 인식 가능한 분류를 위한 미분 가능한 kNN 메커니즘을 적용한다.
• PNCA는 확률적 경사 하강법을 통해 최적화되며, 이웃들의 최대 클래스 확률에서 유래된 불확실성 측정이 이루어진다.

실험 결과

연구 질문

• RQ1 BNN과 딥 앙상블과 같은 최고 수준의 모델들이 소규모 데이터 환경에서 불확실성 추정 성능이 어떻게 저하되는가?
• RQ2 비모수적 kNN 접근 방식을 확률적으로 일반화하여 낮은 데이터 설정에서 샘플 효율성과 불확실성 보정을 유지할 수 있는가?
• RQ3 확률적 이웃 선택을 갖는 딥 kNN 분류기는 표준 DNN 및 불확실성 인식 모델보다 분포 외 입력을 탐지하는 데에서 더 나은 성능을 보일 수 있는가?
• RQ4 기존 모델들과 비교해 PNCA는 분포가 이동된 또는 OOD 테스트 데이터에서 과도한 확신 예측을 얼마나 줄일 수 있는가?
• RQ5 PNCA는 제한된 레이블 데이터를 가진 실제 의료 영상 작업에서 정확도와 신뢰할 수 있는 불확실성 측정을 동시에 달성할 수 있는가?

주요 결과

• 회전된 MNIST 데이터셋에서 PNCA는 DNN, BNN, 앙상블 모델보다 높은 정확도를 달성했으며, OOD 데이터에 대한 고신뢰도 예측 수가 크게 줄었다.
• not-MNIST OOD 데이터셋에서 PNCA는 DNN 및 BNN 대비 고신뢰도 예측 수를 50% 이상 감소시켜 뛰어난 OOD 탐지 성능을 입증했다.
• 실제 코로나19 X-ray 분류 작업에서 PNCA는 [4]에서 제시된 분포가 이동된 테스트 데이터에 대해 DNN 및 BNN을 포함한 모든 기준 모델보다 고신뢰도 예측 수를 크게 줄였다.
• 어깨 및 손 X-ray 영상(진짜 OOD)에서 PNCA는 DNN 및 BNN보다 훨씬 적은 고신뢰도 오분류를 보였으며, 이는 DNN 및 BNN의 강한 과도한 확신을 보여주었다.
• 단지 275개의 양성 및 76개의 음성 X-ray 영상만을 사용해 훈련했음에도 불구하고, PNCA는 DNN와 유사한 정확도를 유지하면서 훨씬 더 신뢰할 수 있는 불확실성 추정을 제공했다.
• 분포 이동 상황 하에서 PNCA는 정확도 및 불확실성 보정 측면에서 최고 수준의 불확실성 인식 모델을 뛰어넘었으며, 특히 소규모 데이터 환경에서 두드러진 성능을 보였다.