[논문 리뷰] A Simple Approach to Improve Single-Model Deep Uncertainty via Distance-Awareness

Jeremiah Zhe Liu, Shreyas Padhy외 8명|arXiv (Cornell University)|2022. 05. 01.

Fault Detection and Control Systems인용 수 36

한 줄 요약

본 논문은 SNGP를 제시하는데, 단일 모델 접근법으로 가우시안 프로세스를 통해 출력층에 거리 인식을 추가하고, 스펙트럴 노멀라이제이션으로 거리 보존 표현을 강제하여 불확실성 추정치를 향상시킨다.

ABSTRACT

Accurate uncertainty quantification is a major challenge in deep learning, as neural networks can make overconfident errors and assign high confidence predictions to out-of-distribution (OOD) inputs. The most popular approaches to estimate predictive uncertainty in deep learning are methods that combine predictions from multiple neural networks, such as Bayesian neural networks (BNNs) and deep ensembles. However their practicality in real-time, industrial-scale applications are limited due to the high memory and computational cost. Furthermore, ensembles and BNNs do not necessarily fix all the issues with the underlying member networks. In this work, we study principled approaches to improve uncertainty property of a single network, based on a single, deterministic representation. By formalizing the uncertainty quantification as a minimax learning problem, we first identify distance awareness, i.e., the model's ability to quantify the distance of a testing example from the training data, as a necessary condition for a DNN to achieve high-quality (i.e., minimax optimal) uncertainty estimation. We then propose Spectral-normalized Neural Gaussian Process (SNGP), a simple method that improves the distance-awareness ability of modern DNNs with two simple changes: (1) applying spectral normalization to hidden weights to enforce bi-Lipschitz smoothness in representations and (2) replacing the last output layer with a Gaussian process layer. On a suite of vision and language understanding benchmarks, SNGP outperforms other single-model approaches in prediction, calibration and out-of-domain detection. Furthermore, SNGP provides complementary benefits to popular techniques such as deep ensembles and data augmentation, making it a simple and scalable building block for probabilistic deep learning. Code is open-sourced at https://github.com/google/uncertainty-baselines

연구 동기 및 목표

• 안전 민감한 응용 분야에서 신뢰할 수 있는 불확실성의 필요성을 제시한다.
• 불확실성 추정을 미니맥스 문제로 형식화하고 거리 인식이 핵심 필요한 조건임을 식별한다.
• 결정론적 DNN에 거리 인식을 주입하기 위한 간단하고 확장 가능한 방법(SNGP)을 제시한다.
• SNGP를 사용하여 비전, 언어 및 유전체학 작업에서 보정 및 OOD 탐지 향상을 입증한다.

제안 방법

• 거리 인식을 정의하고 미니맥스 최적 불확실성 추정을 위해 그것의 필요성을 보인다.
• 밀집 출력층을 무작위 푸리에 특성(Random Fourier Features)을 사용한 라플라스 근사 가우시안 프로세스 층으로 교체한다.
• 은닉층에 스펙트럴 노멀라이제이션을 적용하여 이중 리피시츠 및 거리 보존 표현을 보장한다.
• 랜덤 특징 공간에서 닫힌 형태의 확장 가능한 GP 사후분포를 얻기 위해 라플라스 근사를 사용한다.
• 기존 불확실성 접근법 및 데이터 증강과의 호환성 및 보완 이점을 입증한다.

실험 결과

연구 질문

• RQ1 거리 인식을 어떻게 형식화하고 고품질 불확실성 추정에 필요함으로 보일 수 있는가?
• RQ2 거리 인식 표현과 a GP 출력층을 강제해도 단일 결정론적 모델이 경쟁력 있는 불확실성을 달성할 수 있는가?
• RQ3 SNGP가 비전과 언어 작업에서 보정 및 이상 분포 탐지를 향상시키는가?
• RQ4 SNGP가 앙상블 방법 및 데이터 증강과 어떻게 상호 작용하거나 보완하는가?
• RQ5 이 접근법이 대규모 아키텍처와 데이터셋에 확장 가능한가?

주요 결과

• SNGP는 여러 벤치마크에서 다른 단일 모델 접근법보다 보정 및 외부 도메인 탐지에서 일관되게 향상된다.
• 스펙트럴 노멀라이제이션은 은닉 표현에서 거리 보존을 개선하여 거리 인식을 돕는다.
• 출력층을 거리 인식 가우시안 프로세스로 교체하면 불확실성이 학습 데이터로부터의 거리와 함께 증가한다.
• 랜덤 푸리에 특성을 가진 라플라스 근사 GP는 결정적 DNN와 함께 확장 가능하고 엔드 투 엔드 학습을 가능하게 한다.
• SNGP는 앙상블 및 증강에 보완적 이점을 제공하여 확장 가능한 확률적 딥러닝을 가능하게 한다.