[논문 리뷰] Regression Prior Networks

Andrey Malinin, Sergey Chervontsev외 2명|arXiv (Cornell University)|2020. 06. 20.

Anomaly Detection Techniques and Applications참고 문헌 42인용 수 18

한 줄 요약

이 논문은 정규-위샤르 분포를 사용하여 예측 불확실성을 모델링함으로써 회귀 과제에서의 불확실성 추정을 위한 새로운 방법인 회귀 사전 분포 네트워크(RPNs)를 소개한다. Prior Networks와 Ensemble Distribution Distillation (EnD²)를 회귀에 확장함으로써 RPNs는 단일 모델에서 앙상블 수준의 성능과 불확실성 校정을 달성하며, UCI 데이터셋과 단안 심도 추정 벤치마크에서 최신의 단일 모델 및 희석 기반 접근법을 능가한다.

ABSTRACT

Prior Networks are a recently developed class of models which yield interpretable measures of uncertainty and have been shown to outperform state-of-the-art ensemble approaches on a range of tasks. They can also be used to distill an ensemble of models via Ensemble Distribution Distillation (EnD$^2$), such that its accuracy, calibration and uncertainty estimates are retained within a single model. However, Prior Networks have so far been developed only for classification tasks. This work extends Prior Networks and EnD$^2$ to regression tasks by considering the Normal-Wishart distribution. The properties of Regression Prior Networks are demonstrated on synthetic data, selected UCI datasets and a monocular depth estimation task, where they yield performance competitive with ensemble approaches.

연구 동기 및 목표

• 자율주행과 같은 고위험 AI 응용 분야에서 필수적인 해석 가능한 불확실성 추정의 부족을 해결한다.
• 이전에 분류 작업에만 국한되었던 Prior Networks를 정규-위샤르 분포를 통해 회귀 과제로 확장한다.
• 다양한 불확실성 분해를 수학적으로 일관되게 가능하게 하는 총 불확실성, 데이터 불확실성, 지식 불확실성에 대한 닫힌 형태의 표현식을 도출한다.
• 역 KL 발산과 OOD 데이터를 활용한 훈련 파라다임, 그리고 OOD 데이터가 필요 없이 앙상블 성능과 불확실성을 유지하는 EnD² 희석을 제안한다.
• 실제 회귀 과제, 특히 불확실성 교정이 중요한 단안 심도 추정에서 RPN의 유효성을 입증한다.

제안 방법

• 신경망으로 파arameter화된 다변량 정규분포를 사용하여 예측 분포를 모델링하며, 평균 μ와 정밀도 행렬 Λ를 사용한다.
• μ와 Λ에 대한 켄치드-프리어로 정규-위샤르 분포를 사용함으로써 닫힌 형태의 불확실성 계산과 효율적인 추론을 가능하게 한다.
• 예측 분포의 분산(총 불확실성), 데이터 불확실성(지식 불확실성의 분산), 평균의 지식 불확실성(지식 불확실성의 분산)에 대한 분석적 표현식을 유도한다.
• 모델의 정규-위샤르 분포와 목표 분포 사이의 역 KL 발산을 최소화하여 RPN을 훈련하며, OOD 데이터를 활용한 지도 학습이 필요하다.
• 앙상블의 예측 성능과 불확실성 추정치를 단일 RPN으로 전이하기 위해 Ensemble Distribution Distillation (EnD²)을 적용하며, OOD 데이터가 필요하지 않다.
• 앙상블의 예측 분포와 RPN의 예측 분포 사이의 역 KL 발산을 최소화하는 EnD² 목표를 사용하여 정확도와 불확실성 행동을 모두 유지한다.

실험 결과

연구 질문

• RQ1 기존에 분류에만 적용된 Prior Networks가 켄치드-프리어 분포를 사용하여 회귀 과제로 성공적으로 확장될 수 있는가?
• RQ2 정규-위샤르 분포를 사용하여 회귀 과제에서 총 불확실성, 데이터 불확실성, 지식 불확실성에 대한 닫힌 형태의 표현식을 도출할 수 있는가?
• RQ3 OOD 훈련 데이터가 필요 없이 EnD² 희석이 앙상블의 예측 성능과 불확실성 추정치를 단일 RPN으로 효과적으로 전이할 수 있는가?
• RQ4 EnD²를 사용한 RPN은 정확도와 OOD 탐지 측면에서 최신의 단일 모델 및 희석 기반의 회귀 모델보다 어떻게 비교되는가?
• RQ5 심도 추정과 같은 척도 민감도가 높은 회귀 과제에서 분산 기반 측정법과 정보 이론 기반 측정법의 상대적 강점과 한계는 무엇인가?

주요 결과

• 회귀 사전 분포 네트워크(RPNs)는 정규-위샤르 분포를 사용하여 Prior Networks 프레임워크를 회귀 과제로 성공적으로 확장하였으며, 총 불확실성, 데이터 불확실성, 지식 불확실성의 닫힌 형태 계산을 가능하게 하였다.
• EnD² 희석을 거친 RPNs는 NYUv2와 KITTI 단안 심도 추정 벤치마크에서 최신 기술을 초월하여 예측 정확도와 불확실성 교정 측면에서 최고 성능을 기록하였다.
• NYUv2 데이터셋에서는 분산 기반 불확실성 측정법을 사용해 OOD 탐지에 대해 99.9% AUC-ROC를 달성하였으며, KITTI에서는 척도에 민감한 측정법(예: MI, EPKL)이 분산 기반 방법보다 우수하여 저심도 예측에 대한 민감도를 보였다.
• EnD²로 훈련된 모델은 오차 지도와 불확실성 지도에서 원래 앙상블의 불확실성 행동을 정확히 재현하여 불확실성 특성의 효과적인 희석을 입증하였다.
• 분산 기반 불확실성 측정법은 KITTI에서 척도 민감도로 인해 실패하였으며, 저심도 예측에서 잘못된 낮은 불확실성 값을 유도하였지만, 정보 이론 기반 측정법(MI, EPKL)은 여전히 강건하였다.
• 딥 에비덴셜 리그레션(DER)은 증거 정규화 항을 통해 저오차 영역에서 불확실성을 억제함으로써 근접한 카메라 OOD 샘플을 내부 영역으로 잘못 분류하는 문제가 발생하였다.