[논문 리뷰] Deep Evidential Regression

Alexander Amini, Wilko Schwarting외 2명|arXiv (Cornell University)|2019. 10. 07.

Adversarial Robustness in Machine Learning참고 문헌 51인용 수 11

한 줄 요약

이 논문은 추론 시 샘플링이나 분포 외(OOD) 데이터가 필요 없이 결정론적 신경망을 훈련시켜 회귀 과제에서 애날레틱적 및 엠피스테믹적 불확실성을 추정하는 Deep Evidential Regression을 제안한다. 예측 분포를 가우시안 우도에 대한 증거 분포로 모델링하고, 새로운 정규화 기법을 통해 이 분포의 초모수를 학습함으로써 잘 校정된 불확실성 추정, OOD 및 적대적 입력에 대한 강건성, 그리고 복잡한 비전 과제로의 확장성을 달성한다.

ABSTRACT

Deterministic neural networks (NNs) are increasingly being deployed in safety critical domains, where calibrated, robust, and efficient measures of uncertainty are crucial. In this paper, we propose a novel method for training non-Bayesian NNs to estimate a continuous target as well as its associated evidence in order to learn both aleatoric and epistemic uncertainty. We accomplish this by placing evidential priors over the original Gaussian likelihood function and training the NN to infer the hyperparameters of the evidential distribution. We additionally impose priors during training such that the model is regularized when its predicted evidence is not aligned with the correct output. Our method does not rely on sampling during inference or on out-of-distribution (OOD) examples for training, thus enabling efficient and scalable uncertainty learning. We demonstrate learning well-calibrated measures of uncertainty on various benchmarks, scaling to complex computer vision tasks, as well as robustness to adversarial and OOD test samples.

연구 동기 및 목표

• 안정적인 응용 분야에서 결정론적 회귀 신경망의 잘 校정된 불확실성 추정의 부족을 해결하기 위해.
• 추론 시 샘플링이 필요 없이 애날레틱적 및 엠피스테믹적 불확실성을 동시에 추정할 수 있도록 하기 위해.
• 고정된 사전이나 OOD 훈련 데이터에 의존하지 않고 오차 및 OOD 예시에서 잘못된 증거를 페널티 처리할 수 있는 정규화 기법을 개발하기 위해.
• 복잡한 비전 벤치마크와 적대적 입력에서 강건하고 잘 校정된 불확실성 추정을 달성하기 위해.
• 연속 회귀 과제를 위한 베이지안 신경망과 기존의 증거 기반 방법에 비해 확장 가능하고 효율적인 대안을 제공하기 위해.

제안 방법

• 이 방법은 예측 분포를 가우시안 우도의 모수(μ, σ²)에 대한 고차원 증거 분포로 모델링한다.
• 신경망은 이 증거 분포의 초모수를 예측하도록 훈련되며, 이는 우도 모수에 대한 누적된 증거를 나타낸다.
• 오차 및 OOD 입력에서 예측된 증거가 실제 타겟과 일치하지 않을 경우 페널티를 주는 새로운 증거 정규화 기법이 도입된다.
• 고정된 사전이나 OOD 데이터가 필요 없이, 분산 기반 페널티에서 유도된 정규화 기법은 예측된 증거와 올바른 출력 간의 일치를 장려한다.
• 샘플링을 피하기 위해 직접적으로 증거 초모수를 회귀함으로써 단일 순방향 전파로 빠른 추론이 가능해진다.
• 정확도와 불확실성의 校정을 균형 있게 유지하기 위해 회귀 오차와 증거 정규화 기법을 조합한 손실 함수를 사용해 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 결정론적 신경망이 추론 시 샘플링 없이도 잘 校정된 엠피스테믹적 및 애날레틱적 불확실성을 추정할 수 있는가?
• RQ2 증거 기반 딥 러닝이 OOD 훈련 데이터에 의존하지 않고 연속 회귀 과제로 효과적으로 확장될 수 있는가?
• RQ3 고정된 사전과의 거리가 명확하지 않은 상황에서 오차 및 OOD 입력에서 잘못된 증거를 페널티 처리할 수 있는 정규화 기법을 어떻게 설계할 수 있는가?
• RQ4 제안된 방법이 최첨단 기준 대비 OOD 및 적대적 입력에서 더 나은 불확실성 校정과 강건성을 달성하는가?
• RQ5 이 방법은 복잡한 컴퓨터 비전 회귀 과제로 확장 가능하면서도 불확실성의 校정을 유지할 수 있는가?

주요 결과

• 제안된 방법은 샘플링이나 OOD 데이터가 없이도 여러 회귀 벤치마크, 특히 복잡한 비전 과제에서 잘 校정된 불확실성 추정을 달성한다.
• 모델은 분포 외 및 적대적으로 변형된 테스트 입력에 대해 강건성을 보이며, 이러한 샘플에서 불확실성을 적절히 높이는 경향을 보인다.
• 증거 정규화 기법은 오차에서 잘못된 증거를 성공적으로 페널티 처리하여, 고정된 사전이나 OOD 예시에 의존하지 않고도 불확실성의 校정을 향상시킨다.
• 이 방법은 대규모 비전 회귀 과제로 효율적으로 확장되며, 불확실성의 校정과 예측 정확도를 유지한다.
• 특히 OOD 및 적대적 입력에서 최첨단 기술 대비 불확실성의 校정과 강건성 면에서 뛰어난 성능을 보이며, 성능을 뛰어넘는다.
• 이 방법은 단일 패assing 추론을 통해 빠른 불확실성 추정이 가능하므로 실시간 안정성 중심 응용 분야에 적합하다.