[논문 리뷰] Learning uncertainty in regression tasks by artificial neural networks

Pavel Gurevich, Hannes Stuke|arXiv (Cornell University)|2017. 07. 23.

Gaussian Processes and Bayesian Inference참고 문헌 26인용 수 4

한 줄 요약

이 논문은 두 개의 신경망을 공동으로 훈련시켜 예측을 수행하고, 평균 손실을 통해 局소 예측 불확실성을 추정하는 새로운 방법을 제안한다. 이 방법은 예측 성능을 향상시키며, 노이즈 분포를 사전에 정의하지 않아도 정규 또는 라플라스 노이즈 가정 하에 고전적인 방법들(예: 최대 로그우도)을 복원할 수 있다.

ABSTRACT

We suggest a general approach to quantification of different forms of uncertainty in regression tasks performed by artificial neural networks. It is based on the simultaneous training of two neural networks with a joint loss function. One of the networks performs predictions and the other simultaneously quantifies the uncertainty of predictions by estimating the locally averaged loss of the first one. Unlike in many classical uncertainty quantification methods, the targets are not assumed to be sampled from a probability distribution of an a priori given form. We analyze how the hyperparameters affect the learning process and, additionally, show that our method even allows for better predictions compared to standard neural networks without uncertainty counterparts. Finally, we show that particular cases of our approach include maximization of log-likelihood, assuming Gaussian or Laplace noise.

연구 동기 및 목표

• 모수적 노이즈 분포 형식을 사전에 가정하지 않고도 회귀 작업에서의 불확실성 정량화를 위한 일반적인 프레임워크를 개발하는 것.
• 훈련 중에 불확실성 추정을 통합함으로써 예측 성능을 향상시키는 것.
• 예측 네트워크의 손실 구조를 활용하여 국소적으로 불확실성을 학습할 수 있도록 하는 것.
• 노이즈가 정규 또는 라플라스 분포일 경우, 고전적인 방법들(예: 최대 로그우도)을 포함하는 것으로 보여주는 것.

제안 방법

• 예측을 위한 네트워크와 불확실성 추정을 위한 네트워크를 동시에 훈련시킨다.
• 예측 손실과 불확실성 추정 손실을 조합한 공동 손실 함수를 사용한다.
• 불확실성 네트워크는 예측 네트워크의 국소 평균 손실을 추정하여 예측 신뢰도를 반영한다.
• 노이즈 분포에 대한 사전 지식을 필요로 하지 않아 다양한 회귀 작업에 대해 유연하게 적용할 수 있다.
• 기존의 알려진 불확실성 정량화 방법들(예: 정규 또는 라플라스 노이즈 하에서 최대 로그우도)으로 일반화된다.

실험 결과

연구 질문

• RQ1 노이즈 분포의 특정한 모수적 형식을 가정하지 않고도 회귀에서의 불확실성을 효과적으로 정량화할 수 있는가?
• RQ2 예측 네트워크와 불확실성 네트워크의 공동 훈련이 예측 성능에 어떤 영향을 미치는가?
• RQ3 제안된 방법이 최대 로그우도와 같은 고전적 불확실성 추정 기법을 어느 정도 복원할 수 있는가?
• RQ4 초기화 조정 값이 학습 동역학과 불확실성 추정 품질에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 불확실성 추정을 고려하지 않은 표준 신경망보다 예측 정확도가 향상된다.
• 불확실성 네트워크는 예측 네트워크의 평균 손실을 추정하여 국소 예측 신뢰도를 효과적으로 포착한다.
• 노이즈가 정규 또는 라플라스 분포일 경우, 최대 로그우도 추정이 복원된다.
• 초기화 조정 값의 튜닝은 학습 과정에 상당한 영향을 미치며, 최적의 설정이 불확실성 캘리브레이션을 향상시킨다.