[논문 리뷰] Reliable training and estimation of variance networks

Nicki Skafte, Martin Jørgensen외 1명|arXiv (Cornell University)|2019. 01. 01.

Gaussian Processes and Bayesian Inference인용 수 18

한 줄 요약

이 논문은 회귀 신경망에서 예측 분산을 훈련하고 추정하기 위한 보완적인 방법을 제안한다. 이는 희소하고 강건한 기울기를 생성하는 국소적으로 인지하는 미니배칭 기법과 분산 네트워크에 대한 편향 없는 가중치 갱신을 포함한다. 또한 사후 적합 히우리스틱과 가우시안 프로세스에서 영감을 얻은 새로운 아키텍처를 도입하여, 최신 기준 대비 회귀, 활성 학습, 생성 모델링 작업 전반에서 예측 불확실성 추정을 크게 향상시킨다.

ABSTRACT

We propose and investigate new complementary methodologies for estimating predictive variance networks in regression neural networks. We derive a locally aware mini-batching scheme that results in sparse robust gradients, and we show how to make unbiased weight updates to a variance network. Further, we formulate a heuristic for robustly fitting both the mean and variance networks post hoc. Finally, we take inspiration from posterior Gaussian processes and propose a network architecture with similar extrapolation properties to Gaussian processes. The proposed methodologies are complementary, and improve upon baseline methods individually. Experimentally, we investigate the impact of predictive uncertainty on multiple datasets and tasks ranging from regression, active learning and generative modeling. Experiments consistently show significant improvements in predictive uncertainty estimation over state-of-the-art methods across tasks and datasets.

연구 동기 및 목표

• 딥 회귀 모델에서 신뢰할 수 있는 예측 불확실성 추정의 과제를 해결하기 위해.
• 분산 네트워크에 대한 안정적이고 편향 없는 갱신을 가능하게 하는 훈련 방법론을 개발하기 위해.
• 회귀, 활성 학습, 생성 모델링과 같은 다양한 작업에서의 불확실성 校정을 향상시키기 위해.
• 가우시안 프로세스와 유사한 외삽 성질을 갖는 신경망 아키텍처를 설계하기 위해.
• 기존 최신 기술을 초월하여 불확실성 추정을 향상시키는 보완 기법을 제공하기 위해.

제안 방법

• 분산 네트워크 훈련을 위한 희소하고 강건한 기울기를 생성하는 국소적으로 인지하는 미니배칭 기법을 도입한다.
• 분산 네트워크에 대한 편향 없는 가중치 갱신 방법을 개발하여 안정적인 최적화를 보장한다.
• 초기 훈련 이후 평균 및 분산 네트워크의 보정을 강건하게 수행할 수 있는 사후 적합 히우리스틱을 제안한다.
• 일반화 및 불확실성 외삽을 향상시키기 위해 사후 가우시안 프로세스에서 영감을 얻은 새로운 신경망 아키텍처를 설계한다.
• 모든 구성 요소를 통합된 프레임워크로 조합하여 예측 불확실성 추정을 향상시킨다.
• 다양한 데이터셋과 작업을 대상으로 실험적 검증을 수행하여 강건성과 성능을 평가한다.

실험 결과

연구 질문

• RQ1 예측 분산 네트워크는 어떻게 안정적이고 편향 없는 기울기 갱신을 통해 신뢰성 있게 훈련될 수 있는가?
• RQ2 제안된 국소적으로 인지하는 미니배칭 기법은 기울기 품질과 훈련 안정성에 얼마나 기여하는가?
• RQ3 사후 적합 절차는 다양한 작업에서 평균 및 분산 예측의 보정에 효과적으로 기여하는가?
• RQ4 제안된 아키텍처 선택은 표준 신경망에 비해 불확실성 외삽을 어떻게 향상시키는가?
• RQ5 제안된 방법들의 조합은 회귀, 활성 학습, 생성 모델링 전반에서 예측 불확실성 추정에 일관된 향상을 이끌어내는가?

주요 결과

• 제안된 국소적으로 인지하는 미니배칭 기법은 기존 방법에 비해 훨씬 더 희소하고 강건한 기울기를 생성한다.
• 분산 네트워크에 대한 편향 없는 가중치 갱신은 더 안정적이고 신뢰할 수 있는 훈련 동역학을 이끈다.
• 사후 적합 히우리스틱은 다양한 데이터셋에서 평균 및 분산 예측의 보정을 효과적으로 향상시킨다.
• 가우시안 프로세스에서 영감을 얻은 네트워크 아키텍처는 개선된 외삽 행동을 보이며, 가우시안 프로세스의 불확실성 패턴과 유사하다.
• 실험 결과, 모든 평가된 작업과 데이터셋에서 최신 기술 대비 일관되고 뚜렷한 예측 불확실성 추정 향상이 나타났다.
• 제안된 방법들의 보완적 성격은 상호 보완적인 성능 향상을 이끌어내어 개별 구성 요소나 기준 모델을 초월한다.