[논문 리뷰] Single-Model Uncertainties for Deep Learning

Nataša Tagasovska, David López-Paz|arXiv (Cornell University)|2018. 11. 02.

Adversarial Robustness in Machine Learning인용 수 80

한 줄 요약

본 논문은 심층 학습에 대한 두 가지 단일 모델 불확실성 추정기를 제시한다: 대수적 불확실성용 Simultaneous Quantile Regression (SQR)와 인식적 불확실성용 Orthonormal Certificates (OCs). 앙상블링이나 재훈련 없이도 경쟁력 있는 결과를 달성한다.

ABSTRACT

We provide single-model estimates of aleatoric and epistemic uncertainty for deep neural networks. To estimate aleatoric uncertainty, we propose Simultaneous Quantile Regression (SQR), a loss function to learn all the conditional quantiles of a given target variable. These quantiles can be used to compute well-calibrated prediction intervals. To estimate epistemic uncertainty, we propose Orthonormal Certificates (OCs), a collection of diverse non-constant functions that map all training samples to zero. These certificates map out-of-distribution examples to non-zero values, signaling epistemic uncertainty. Our uncertainty estimators are computationally attractive, as they do not require ensembling or retraining deep models, and achieve competitive performance.

연구 동기 및 목표

• 깊은 신경망에서 알레이터릭/아레이터릭? 불확실성의 단일 모델 추정치를 제공한다.
• 모델 앙상블링이나 재훈련 없이 예측 구간을 얻을 수 있는 확장 가능한 방법을 개발한다.
• 제안된 방법의 위치를 정하기 위한 관련 불확실성 추정 접근법에 대한 통합적 논의를 제공한다.

제안 방법

• Simultaneous Quantile Regression (SQR) 은 무작위 핀볼 손실을 최소화하여 모든 조건부 분위수를 함께 학습함으로써 비정규가 있거나 비대칭적이며 이분산인 알레이터릭 불확실성을 가능하게 한다.
• SQR 은 추정된 분위수로부터 u_a(x*) = f(x*,1−α/2) − f(x*,α/2) 로 예측 구간을 산출한다.
• Orthonormal Certificates (OCs) 는 φ(x) 를 0 으로 매핑하는 다양하고 비상수적 인증 함수 C 의 집합을 구성함으로써 u_e(x*) = ||C^T φ(x*)||^2 를 통해 외분포 샘플의 탐지를 가능하게 한다.
• 인증서는 다양성을 보장하기 위한 직교화 제약을 가진 손실 함수와 정규화 항 ||C^T C − I_k|| 를 최소화하는 방식으로 학습된다.
• OC 의 성능은 도메인 내(out-of-domain) 데이터와 도메인 외(out-of-domain) 데이터 간의 분리를 보여주는 꼬리(bound) 분석으로 해석된다.
• 이 접근법은 미리 학습된 네트워크의 마지막 계층 표현을 쌓아 올리는 방식으로 어떤 네트워크와도 호환된다.

실험 결과

연구 질문

• RQ1 앙상블링 없이 단일 신경망 모델이 알레이터릭 불확실성에 대해 신뢰할 수 있고 보정된 예측 구간을 제공할 수 있는가?
• RQ2 단일 모델 접근 방식이 재훈련이나 광범위한 하이퍼파라미터 조정 없이도 인식적 불확실성 및 이상치 탐지를 효과적으로 수행하는가?
• RQ3 SQR 및 OC 방법이 표준 벤치마크에서 기존 불확실성 추정 방법과 실제로 어떻게 비교되는가?
• RQ4 직교성 인증서의 도메인 내/도메인 외 데이터 구별 동작에 대한 이론적 보증이나 통찰은 무엇인가?

주요 결과

• SQR 은 보정된 1−α 예측 구간을 제공하고 모델 앙상블링 없이도 복잡한 비정규적, 비가우시안 알레이터릭 불확실성을 모델링할 수 있다.
• OC 는 단일 모델을 사용하여 경쟁력 있는 이상치 탐지 성능을 제공하며, 여러 데이터셋에 걸쳐 종종 여러 베이스라인보다 우수하다.
• SQR 은 어떤 신경망에도 추가 출력 계층으로 쉽게 추가될 수 있으며 성능 저하나 재훈련 없이도 가능하다.
• OC 이론적 분석은 도메인 내/도메인 외 데이터의 불확실성 거동을 설명하는 꼬리(bound) 분석을 포함한다.
• 제안된 방법들은 앙상블에 비해 계산 및 저장 비용을 줄이면서 경쟁력 있는 결과를 달성한다.