[논문 리뷰] Towards Principled Uncertainty Estimation for Deep Neural Networks

Richard Harang, Ethan M. Rudd|arXiv (Cornell University)|2018. 10. 29.

Gaussian Processes and Bayesian Inference참고 문헌 21인용 수 4

한 줄 요약

이 논문은 베이지안 추론, 역행성 정규화 흐름, 분류 학습을 조합하여 모델 용량, 내재된 데이터, 개방 집합 등 세 가지 유형의 불확실성을 동시에 추정하는 통합 계층적 딥 뉴럴 네트워크를 제안한다. 이 모델은 최소한의 계산 오버헤드로 효율적인 엔드 투 엔드 샘플별 불확실성 추정을 가능하게 하며, 가우시안 잠재 공간 가정 하에 개방 집합 위험을 증명 가능하게 경계한다.

ABSTRACT

When the cost of misclassifying a sample is high, it is useful to have an accurate estimate of uncertainty in the prediction for that sample. There are also multiple types of uncertainty which are best estimated in different ways, for example, uncertainty that is intrinsic to the training set may be well-handled by a Bayesian approach, while uncertainty introduced by shifts between training and query distributions may be better-addressed by density/support estimation. In this paper, we examine three types of uncertainty: model capacity uncertainty, intrinsic data uncertainty, and open set uncertainty, and review techniques that have been derived to address each one. We then introduce a unified hierarchical model, which combines methods from Bayesian inference, invertible latent density inference, and discriminative classification in a single end-to-end deep neural network topology to yield efficient per-sample uncertainty estimation in a detection context. This approach addresses all three uncertainty types and can readily accommodate prior/base rates for binary detection. We then discuss how to extend this model to a more generic multiclass recognition context.

연구 동기 및 목표

• 딥 네트워크에서 서로 다른 유형의 불확실성(모델 용량, 내재된 데이터, 개방 집합)을 구분하지 못하는 기존 불확실성 추정 방법의 한계를 해결하기 위해.
• 동시에 모델 용량, 내재된 데이터, 개방 집합 불확실성을 모델링할 수 있는 확장 가능한 엔드 투 엔드 딥 러닝 아키텍처를 개발하기 위해.
• 실제 고위험 응용 분야에 구현 가능한 원칙적이고 校정된 샘플별 불확실성 추정을 제공하기 위해.
• 이진 탐지 작업에서 사전 확률 및 기본 비율을 자연스럽게 모델에 통합하기 위해.
• 다중 클래스 인식에 대해 다항 노이즈 모델과 딜레트 분포 사전 확률을 가정한 프레임워크로 확장하기 위해.

제안 방법

• 공유된 딥 뉴럴 네트워크 아키텍처 내에서 베이지안 영향을 받은 확률적 헤드와 정규화 흐름 기반의 밀도 추정기 간의 통합.
• 역행성 잠재 밀도 추론을 사용해 분리된 잠재 공간에서 입력의 가능도를 모델링함으로써, 밀도 추정을 통한 불확실성 정량화를 가능하게 한다.
• 분류 정확도를 확보하기 위해 판별적 크로스 엔트로피 헤드를 사용하고, 동시에 잠재 공간은 클래스별 분포를 분리하도록 정규화된다.
• 분류 손실과 불확실성 추정을 위한 가능도 최대화를 조합한 공동 목적 함수를 사용해 엔드 투 엔드로 모델을 훈련한다.
• 잠재 공간 내 클래스별 가우시안 출력을 사용해 내부 클래스 지원을 모델링함으로써 클러스터 간 높은 밀도 영역의 위험을 감소시킨다.
• 이 프레임워크는 이진 탐지 작업에서 사전 확률과 기본 비율을 자연스럽게 수용하며, 잠재 밀도가 가우시안으로 수렴할 경우 개방 집합 위험에 대한 이론적 경계를 제공한다.

실험 결과

연구 질문

• RQ1 단일 딥 러닝 모델이 어떻게 모델 용량, 내재된 데이터, 개방 집합 등 서로 다른 세 가지 유형의 불확실성을 동시에 효과적으로 추정할 수 있는가?
• RQ2 베이지안 추론, 정규화 흐름, 판별적 학습을 융합한 통합 아키텍처가 저비용 추론과 함께 校정된 불확실성 추정을 제공할 수 있는가?
• RQ3 분포 이탈 또는 분포 외 입력 상황에서 모델의 불확실성 추정 성능은 어떠한가?
• RQ4 단일 공유 가우시안 대비 클래스별 잠재 가우시안을 사용할 경우 밀도 추정 및 불확실성 校정에 어떤 영향을 미치는가?
• RQ5 이진 탐지 작업에서 사전 지식과 기본 비율을 불확실성 추정 과정에 어떻게 통합할 수 있는가?

주요 결과

• 모델은 단 한 번의 순방향 전파만으로 효율적인 샘플별 불확실성 추정을 달성하여 실시간 응용에 적합하다.
• 문자 인식 작업에서의 실증 평가 결과, 17%의 오진 양성은 'l'이 '1'로 잘못 분류된 데 기인했고, 12%는 'I'가 '1'로 잘못 분류된 데 기인했다.
• 모델은 'O'가 '0'으로 잘못 분류되는 것과 같은 타당한 실수와 명백한 오류를 구분함으로써 밀도 추정기 품질 평가를 향상시킨다.
• 클래스별 잠재 가우시안의 사용은 단일 가우시안 흐름 모델에서 알려진 클러스터 간 가짜 높은 밀도 영역 문제를 완화시킨다.
• 잠재 밀도가 가우시안로 수렴할 경우 프레임워크는 개방 집합 위험을 증명 가능하게 경계하며, 불확실성 校정에 대한 이론적 기반을 제공한다.
• 모델는 다항 노이즈 모델과 딜레트 콜라테르 사전 확률을 가정한 다중 클래스 인식으로 자연스럽게 확장되며, 이 영역에서의 공식적인 불확실성 정량화는 향후 연구 과제로 남아 있다.