[논문 리뷰] SDE-Net: Equipping Deep Neural Networks with Uncertainty Estimates

Lingkai Kong, Jimeng Sun외 1명|arXiv (Cornell University)|2020. 08. 24.

Adversarial Robustness in Machine Learning인용 수 59

한 줄 요약

SDE-Net은 드리프트(예측)와 확산(불확실성) 구성요소를 갖춘 신경 확률 미분방식으로 신경망 변환을 모델링하여, 애레이토릭(랜덤성)과 에피스템릭 불확실성의 명시적 구분 및 불확실성 기반 작업을 가능하게 한다.

ABSTRACT

Uncertainty quantification is a fundamental yet unsolved problem for deep learning. The Bayesian framework provides a principled way of uncertainty estimation but is often not scalable to modern deep neural nets (DNNs) that have a large number of parameters. Non-Bayesian methods are simple to implement but often conflate different sources of uncertainties and require huge computing resources. We propose a new method for quantifying uncertainties of DNNs from a dynamical system perspective. The core of our method is to view DNN transformations as state evolution of a stochastic dynamical system and introduce a Brownian motion term for capturing epistemic uncertainty. Based on this perspective, we propose a neural stochastic differential equation model (SDE-Net) which consists of (1) a drift net that controls the system to fit the predictive function; and (2) a diffusion net that captures epistemic uncertainty. We theoretically analyze the existence and uniqueness of the solution to SDE-Net. Our experiments demonstrate that the SDE-Net model can outperform existing uncertainty estimation methods across a series of tasks where uncertainty plays a fundamental role.

연구 동기 및 목표

• 딥 뉴럴 네트워크에 대한 불확실성 정량화를 동기화하고 베이지안 및 비베이지안 접근법의 한계를 다룬다.
• 확률적 확산 항을 통해 에피스템릭 불확실성을 정량화하기 위한 신경 확률 미분방정식(SDE) 모델을 제안한다.
• 예측 함수를 피팅하는 드리프트 네트와 영역 의존적 불확실성을 포착하는 확산 네트를 개발한다.
• SDE-Net의 존재성/고유성에 대한 이론적 보장과 실무적 학습 방식에 대한 제시를 제공한다.
• 불확실성이 근본적으로 중요한 작업들(Out-of-Distribution 탐지, 오분류 탐지, 적대적 탐지, 능동 학습)에서 향상된 성능을 시연한다.

제안 방법

• 신경망 변환을 확률적 동적 시스템으로 모델링한다: dx_t = f(x_t,t;θ_f) dt + g(x_0;θ_g) dW_t.
• 드리프트 네트 f를 사용해 예측 함수 제어 및 보조 확산 네트 g를 사용해 에피스템릭 불확실성을 모델링한다.
• 배치에 대한 태스크 손실과 OOD 입력을 이용한 확산 기반 규제화를 결합한 목적 함수로 학습한다.
• 메모리 footprint를 줄이기 위해 계층 간 매개변수를 공유하고 학습에는 Euler–Maruyama 이산화를 사용한다.
• 단일 SDE의 여러 해를 샘플링하여 알레소틀릭 및 에피스템틱 구성요소를 계산해 불확실성을 정량화한다.
• Lipschitz 조건 하에서 SDE 해의 존재성과 고유성 보장을 담은 이론적 결과를 제공한다.

실험 결과

연구 질문

• RQ1 SDE 기반 분해(예측을 위한 드리프트와 불확실성을 위한 확산)가 DNN에서 신뢰할 수 있는 에피스템릭 불확실성 추정치를 제공하는가?
• RQ2 SDE-Net은 기존의 불확실성 방법들과 비교해 OOD 탐지, 오분류 탐지, 적대적 샘플 탐지 및 능동 학습에서 어떤 성능을 보이는가?
• RQ3 제안된 SDE 형식의 존재성과 해의 고유성 측면에서 이론적 보장은 무엇인가?

주요 결과

• SDE-Net은 분류 작업(MNIST, SVHN) 및 회귀 작업에서 강력한 OOD 탐지 성능을 달성하며, 파라미터 수를 줄이면서도 종종 베이스라인을 능가한다.
• 분류 OOD 작업에서 SDE-Net은 높은 AUROC 및 탐지 정확도를 달성하며, 여러 설정에서 Threshold, MC-드롭아웃, DeepEnsemble, PN, BBP 및 p-SGLD를 능가한다.
• 회귀 OOD의 경우, SDE-Net은 다른 방법이 어려움을 겪는 상황에서도 강건한 성능을 보이며, unseen 입력에 대한 불확실성을 신호화하는 확산 구성요소를 활용한다.
• 오분류 탐지: SDE-Net은 잘못 분류된 샘플 식별에서 경쟁력 있는 AUROC 및 AUPR을 달성하며, DeepEnsemble에 비해 우세하고 여러 베이스라인을 능가한다.
• 적대적 샘플 탐지: FGSM 및 PGD 공격 하에서도 SDE-Net은 대부분의 베이스라인보다 높은 AUROC를 유지하며, 차원이 높은 SVHN에서 특히 강하다.
• 능동 학습: SDE-Net은 더 정보가 많은 샘플을 얻을수록 RMSE의 후회(오차)를 줄이며 라벨 효율성을 개선하고 BBP 및 p-SGLD를 능가하며 일부 베이스라인에서 나타나는 과적합 경향에 저항한다.