[논문 리뷰] Dense Uncertainty Estimation

Jing Zhang, Yuchao Dai외 8명|arXiv (Cornell University)|2021. 10. 13.

Adversarial Robustness in Machine Learning참고 문헌 121인용 수 10

한 줄 요약

이 논문은 딥 러닝에서 밀도 있는 불확실성 추정을 위한 통합 프레임워크를 제안한다. 이는 지식 불확실성에 대한 앙상블 기반 방법과 데이터 불확실성에 대한 생성 모델을 결합하여 보정된, 픽셀 수준의 신뢰도 맵을 가능하게 한다. 이 방법은 예측 정확도를 희생시키지 않은 채 모델 보정과 분포 외 탐지 성능을 향상시키며, 불확실성 인식 추론을 통한 분류 및 세분화 벤치마크에서 최신 기술 수준의 성능을 입증한다.

ABSTRACT

Deep neural networks can be roughly divided into deterministic neural networks and stochastic neural networks.The former is usually trained to achieve a mapping from input space to output space via maximum likelihood estimation for the weights, which leads to deterministic predictions during testing. In this way, a specific weights set is estimated while ignoring any uncertainty that may occur in the proper weight space. The latter introduces randomness into the framework, either by assuming a prior distribution over model parameters (i.e. Bayesian Neural Networks) or including latent variables (i.e. generative models) to explore the contribution of latent variables for model predictions, leading to stochastic predictions during testing. Different from the former that achieves point estimation, the latter aims to estimate the prediction distribution, making it possible to estimate uncertainty, representing model ignorance about its predictions. We claim that conventional deterministic neural network based dense prediction tasks are prone to overfitting, leading to over-confident predictions, which is undesirable for decision making. In this paper, we investigate stochastic neural networks and uncertainty estimation techniques to achieve both accurate deterministic prediction and reliable uncertainty estimation. Specifically, we work on two types of uncertainty estimations solutions, namely ensemble based methods and generative model based methods, and explain their pros and cons while using them in fully/semi/weakly-supervised framework. Due to the close connection between uncertainty estimation and model calibration, we also introduce how uncertainty estimation can be used for deep model calibration to achieve well-calibrated models, namely dense model calibration. Code and data are available at https://github.com/JingZhang617/UncertaintyEstimation.

연구 동기 및 목표

• 정밀 예측 작업(예: 의미 세분화 및 이미지 분류)에 사용되는 결정론적 딥 뉴럴 네트워크의 과신 문제를 해결하기 위해.
• 모델 신뢰도를 향상시키기 위해 불확실성 추정을 완전, 준, 약한 지도 학습 프레임워크에 통합하기 위해.
• 불확실성 맵을 신뢰도 조정의 안내로 사용하여 밀도 있는 모델 보정을 위한 통합 프레임워크를 개발하기 위해.
• 불확실성 인식 예측을 사용하여 모델 보정 및 분포 외 탐지 성능을 평가하기 위해.
• 재현 가능성과 불확실성 추정 분야의 향후 연구를 지원하기 위해 오픈소스 코드와 데이터셋을 제공하기 위해.

제안 방법

• 다양한 독립된 모델을 훈련하고 예측을 집계하여 지식 불확실성을 추정하기 위해 딥 앙상블 기법을 활용한다.
• 레이블 노이즈와 데이터 분포를 모델링하기 위해 생성 모델(예: VAE 또는 플로우 기반 모델)을 사용하여 데이터 불확실성(aleatoric uncertainty)을 추정한다.
• 추정된 불확실성 맵을 기반으로 신뢰도 점수를 보정하기 위해 온도 스케일링과 사후 보정 기법을 적용한다.
• 픽셀 수준에서의 모델 보정을 향상시키기 위해 불확실성 추정을 사후 또는 온라인 학습 전략으로 통합한다.
• 출력의 각 공간 위치에서 모델 불확실성과 데이터 불확실성을 반영한 불확실성 인식 신뢰도 맵을 구성한다.
• 잘 보정된 모델은 분포 외 입력에서 낮은 신뢰도를 생성해야 하므로, 분포 외(OOD) 샘플을 사용하여 보정 성능을 평가한다.

실험 결과

연구 질문

• RQ1 앙상블 기반 방법은 밀도 있는 예측 작업에서 지식 불확실성을 효과적으로 추정할 수 있는가?
• RQ2 생성 모델은 픽셀 수준의 예측에서 데이터 불확실성을 어느 정도 잘 포착할 수 있는가?
• RQ3 불확실성 추정이 예측 정확도를 저하시키지 않고 모델 보정을 향상시킬 수 있는가?
• RQ4 불확실성 인식 보정은 의미 세분화 및 이미지 분류에서 분포 외 탐지 성능을 어떻게 향상시키는가?
• RQ5 완전, 준, 약한 지도 학습 환경에서 앙상블 대비 생성 모델 기반 접근의 상대적 효과는 어떠한가?

주요 결과

• 제안된 프레임워크는 불확실성 추정과 모델 보정을 융합하여 이미지 분류 및 의미 세분화 벤치마크에서 최신 기술 수준의 보정 성능를 달성한다.
• 픽셀 수준의 불확실성 맵은 특히 카테고리 무관 세분화 작업에서 분포 외 샘플 탐지 성능을 크게 향상시킨다.
• 앙상블 기반 방법은 견고한 지식 불확실성 추정을 제공하고, 생성 모델은 데이터 수준의 노이즈와 데이터 불확실성을 효과적으로 모델링한다.
• 불확실성 추정을 모델 보정에 통합함으로써 내부 분포 샘플에 대한 높은 정확도를 유지하면서도 불확실하거나 분포 외 입력에 대한 신뢰도를 낮춘다.
• 불확실성 맵을 활용한 사후 보정은 표준 온도 스케일링보다 보다 우수한 신뢰도 보정 성능를 보이며, 특히 긴 꼬리 분포 및 분포 이탈 상황에서 두드러진다.
• 이 방법은 예측 성능를 유지하면서도 신뢰할 수 있는 불확실성 정량화를 제공함으로써, 실세계 응용에서 밀도 있는 불확실성 추정의 실현 가능성을 입증한다.