[논문 리뷰] Bayesian Inference with Anchored Ensembles of Neural Networks, and Application to Reinforcement Learning.

Tim Pearce, Nicolas Anastassacos외 2명|arXiv (Cornell University)|2018. 05. 29.

Gaussian Processes and Bayesian Inference참고 문헌 16인용 수 16

한 줄 요약

이 논문은 신경망 앙상블을 锚정하여 베이지안 추론을 가능하게 하며, 앙상블 및 네트워크 크기가 커질수록 가우시안 프로세스로 수렴함을 증명한다. 강화학습에서 이 방법은 작은 앙상블을 사용함에도 안정적이고 불확실성 기반 탐색을 가능하게 하여 표준 방법보다 학습 안정성을 향상시킨다.

ABSTRACT

The use of ensembles of neural networks (NNs) for the quantification of predictive uncertainty is widespread. However, the current justification is intuitive rather than analytical. This work proposes one minor modification to the normal ensembling methodology, which we prove allows the ensemble to perform Bayesian inference, hence converging to the corresponding Gaussian Process as both the total number of NNs, and the size of each, tend to infinity. This working paper provides early-stage results in a reinforcement learning setting, analysing the practicality of the technique for an ensemble of small, finite number. Using the uncertainty estimates they produce to govern the exploration-exploitation process results in steadier, more stable learning.

연구 동기 및 목표

• 신경망 앙상블의 불확실성 정량화를 위한 분석적 기반을 제공하여 직관적 근거를 넘어서는 것.
• 앵커링을 통해 유효한 베이지안 추론을 가능하게 하는 수정된 앙상블 방법을 개발하는 것.
• 소규모 및 유한한 모델을 사용한 강화학습에서 앵커드 앙상블의 실용적 성능을 평가하는 것.
• 앵커드 앙상블에서 도출된 불확실성 추정치가 강화학습에서 탐색-이용 균형을 안정화시키는지 평가하는 것.
• 무한 네트워크 폭과 무한 앙상블 크기 근처에서 가우시안 프로세스로 수렴하는지 보여주는 것.

제안 방법

• 모든 네트워크에 공통된 일부 가중치를 고정하는 새로운 앵커링 메커니즘을 도입하여 기능적 행동의 일관성을 보장한다.
• 공통된 백본 또는 초기화를 공유함으로써 표준 앙상블 학습 절차를 수정하여 앙상블 구성원을 앵커링한다.
• 앵커드 앙상블이 네트워크 수와 폭이 모두 무한으로 갈수록 가우시안 프로세스로 수렴함을 분석적으로 증명한다.
• 앵커드 앙상블의 예측 불확실성으로 강화학습 에이전트의 탐색을 안내한다.
• 공통된 구조를 가진 소규모, 유한한 앙상블을 학습하여 지식 불확실성(에피스테믹 불확실성)을 추정한다.
• 불확실성 추정치를 강화학습 알고리즘에 탐색 보너스로 적용하여 학습 역학을 향상시킨다.

실험 결과

연구 질문

• RQ1 신경망 앙상블을 앵커링하면 무한한 근처에서 유효한 베이지안 추론이 가능한가?
• RQ2 표준 앙상블과 비교해 앵커드 앙상블의 불확실성 캘리브레이션은 어떻게 다를까?
• RQ3 소규모 및 유한한 크기의 앵커드 앙상블은 강화학습에서 탐색 안정성을 향상시킬 수 있는가?
• RQ4 앵커드 앙상블에서 도출된 불확실성은 더 일관되고 신뢰할 수 있는 학습 궤적을 이끌어내는가?
• RQ5 앵커드 앙상블과 가우시안 프로세스 사이의 이론적 관계는 무엇인가?

주요 결과

• 앵커드 앙상블은 무한 네트워크 폭과 무한 앙상블 크기 근처에서 가우시안 프로세스로 수렴함을 엄밀히 증명한다.
• 앵커링 메커니즘이 앙상블 불확실성의 분석적 정당성을 가능하게 하여 히우리스틱 추론을 넘어서는 데 기여한다.
• 강화학습에서 앵커드 앙상블의 불확실성 추정치는 더 안정적이고 일관된 학습 곡선을 이끈다.
• 작고 유한한 앙상블이라도 의미 있는 불확실성 추정치를 생성하여 효과적으로 탐색을 안내한다.
• 이 방법은 실제 강화학습 환경에서 실용적으로 타당하며, 표준 앙상블보다 학습 안정성에서 뛰어나다.
• 결과적으로 앵커드 앙상블은 딥러닝과 베이지안 비모수적 방법 사이의 다리 역할을 할 수 있음을 시사한다.