[논문 리뷰] Bayesian Inference with Anchored Ensembles of Neural Networks, and Application to Exploration in Reinforcement Learning

Tim Pearce, Nicolas Anastassacos외 2명|arXiv (Cornell University)|2018. 05. 29.

Adversarial Robustness in Machine Learning참고 문헌 13인용 수 20

한 줄 요약

이 논문은 개별 네트워크가 초기 가중치로 정규화되는 신경망 앙상블, 즉 앵커드 앙상블를 제안한다. 이는 영향을 받는 사전 정보를 유지하면서도, 0으로 정규화하는 것과는 다릅니다. 이 방법은 무한한 넓이와 무한한 앙상블 크기의 극한에서 가우시안 프로세스로 수렴하며, 톰슨 샘플링을 통한 안정적이고 불확실성 기반의 탐색을 가능하게 하여, 학습 안정성과 정책 품질 측면에서 ε-greedy를 능가합니다.

ABSTRACT

The use of ensembles of neural networks (NNs) for the quantification of predictive uncertainty is widespread. However, the current justification is intuitive rather than analytical. This work proposes one minor modification to the normal ensembling methodology, which we prove allows the ensemble to perform Bayesian inference, hence converging to the corresponding Gaussian Process as both the total number of NNs, and the size of each, tend to infinity. This working paper provides early-stage results in a reinforcement learning setting, analysing the practicality of the technique for an ensemble of small, finite number. Using the uncertainty estimates produced by anchored ensembles to govern the exploration-exploitation process results in steadier, more stable learning.

연구 동기 및 목표

• 신경망 앙상블의 불확실성 정량화에 대한 분석적 근거가 부족한 문제를 해결하기 위해.
• 모든 모델이 동일한 예측으로 수렴하는, 앙상블 구성원의 붕괴 문제를 해결하기 위해.
• 완전한 사후 분포 계산 없이도 실용적인 베이지안 추론을 신경망에 적용하기 위해.
• 앵커드 앙상블에서의 불확실성 추정을 활용하여 강화학습에서의 탐색을 향상시키기 위해.
• 베이지안 신경망과 몬테카를로 방법의 대안으로서 확장 가능하고 비용이 낮은 방법을 제공하기 위해.

제안 방법

• 각 신경망의 파라미터를 0이 아닌 초기 값으로 정규화하여 사전 정보를 유지한다.
• 각 모델을 초기화 상태에 고정시킴으로써 앙상블의 다양성을 유지하고, 동일한 해로 수렴하는 것을 방지한다.
• 다변량 가우시안 사전분포를 가정한 최대 사후확률( MAP ) 추정을 통해 분석적 베이지안 추론을 가능하게 한다.
• 네트워크의 넓이와 앙상블 크기가 모두 무한대에 가까워질 때 앵커드 앙상블이 해당 가우시안 프로세스로 수렴함을 증명한다.
• 앵커드 앙상블에서의 불확실성 추정을 활용해 강화학습에서 톰슨 샘플링을 지도한다.
• 앙상블 예측의 분산을 예측 불확실성의 척도로 사용하여 탐색을 유도한다.

실험 결과

연구 질문

• RQ1 신경망 파라미터를 초기 값으로 앵커링하는 것이 앙상블에서 분석적 베이지안 추론을 가능하게 할 수 있는가?
• RQ2 앵커링이 훈련 중에 모델 다양성을 유지하고 앙상블 붕괴를 방지하는가?
• RQ3 강화학습에서 앵커드 앙상블의 성능은 표준 앙상블 및 기타 베이지안 근사 방법과 비교해 어떻게 되는가?
• RQ4 앵커드 앙상블에서의 불확실성 추정은 강화학습에서 더 안정적이고 효과적인 탐색을 이끌 수 있는가?
• RQ5 앵커드 앙상블은 얼마나 빨리 해당 가우시안 프로세스 극한으로 수렴하는가?

주요 결과

• 앵커드 앙상블는 무한한 넓이와 무한한 앙상블 크기의 극한에서 해당 가우시안 프로세스로 수렴하며, 이는 베이지안 추론에 대한 이론적 기반을 제공한다.
• 이 방법은 다변량 가우시안 사전분포를 가정할 때 분석적 베이지안 추론을 가능하게 하며, 보조 자료에 공식적인 증명이 제시되어 있다.
• 강화학습에서 앵커드 앙상블의 불확실성 추정을 활용한 톰슨 샘플링은 ε-greedy의 시그모이드 곡선 형태와는 달리 더 안정적인 지수 감소 형태의 학습 곡선을 보인다.
• 이 방법은 희귀하거나 비핵심 상태에서는 높은 불확실성(즉, 탐색)을 유지함으로써 더 안전한 탐색을 촉진하며, 핵심 상태에서는 이용을 최적화한다.
• 학습 안정성 측면에서 ε-gre디보다 뛰어나며, 약 800 에피소드 근처에서 갑작스러운 성능 저하가 관찰되지 않는다.
• 노이즈가 없는 CartPole 환경에서는 표준 앙상블과의 성능 향상이 유의미하지 않아, 더 복잡하거나 노이즈가 많은 환경에서의 이점이 나타날 수 있음을 시사한다.