[논문 리뷰] Learning and Policy Search in Stochastic Dynamical Systems with Bayesian Neural Networks

Stefan Depeweg, José Miguel Hernández-Lobato외 2명|arXiv (Cornell University)|2016. 05. 23.

Energy Load and Power Forecasting인용 수 33

한 줄 요약

이 논문은 복잡한 확률적 동역학을 모델링하기 위해 확률적 입력 노이즈를 갖는 베이지안 신경망(BNNs)을 사용하는 모델 기반 강화학습 프레임워크를 제안한다. α-발산 최소화(α=0.5)를 통해 BNN을 훈련시킴으로써 다중모달성과 이방산성 전이 패턴을 포착할 수 있으며, 이는 무작위 롤아웃과 확률적 최적화를 통한 효과적인 정책 탐색을 가능하게 하여 20년 전의 기준 테스트와 실제 가스 터빈 제어에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We present an algorithm for model-based reinforcement learning that combines Bayesian neural networks (BNNs) with random roll-outs and stochastic optimization for policy learning. The BNNs are trained by minimizing $\\alpha$-divergences, allowing us to capture complicated statistical patterns in the transition dynamics, e.g. multi-modality and heteroskedasticity, which are usually missed by other common modeling approaches. We illustrate the performance of our method by solving a challenging benchmark where model-based approaches usually fail and by obtaining promising results in a real-world scenario for controlling a gas turbine.

연구 동기 및 목표

• 다중모달성과 이방산성을 포함한 복잡한 확률적 동역학을 포착하지 못하는 표준 모델 기반 RL의 한계를 해결한다.
• 탐색이 제한된 오프-폴리시 배치 환경에서 강건한 정책 학습을 가능하게 한다. 이는 산업 적용에서 흔한 상황이다.
• 오랜 기간 동안 해결되지 않았던 웻-치킨 기준 문제에서 이전의 모델 기반 방법들이 실패한 문제를 극복한다.
• 확률적 입력을 갖는 베이지안 신경망을 사용하여 확률적 전이를 모델링하는 확장성 있고 표현력 있는 프레임워크를 개발한다.
• 실제 산업 제어 과제, 특히 가스 터빈 운영에서의 효과성을 입증한다.

제안 방법

• 관측되지 않은 환경적 요란을 포착하기 위해 추가적인 확률적 입력 노이즈 변수 $ z $ 를 갖는 베이지안 신경망(BNNs)을 사용하여 확률적 동역학을 모델링한다.
• α = 0.5 일 때 α-발산 최소화를 통해 BNN을 훈련시켜, 변분 베이즈보다 더 정확한 사후 근사값을 제공한다.
• 훈련된 BNN을 사용하여 다양한 행동 하에서 상태 경로의 무작위 롤아웃을 수행하여 불확실성 하에서의 시스템 행동을 시뮬레이션한다.
• 롤아웃을 기반으로 예상 누적 보상의 최대화를 통해 매개변수화된 정책을 학습하기 위해 확률적 최적화를 적용한다.
• BNN의 예측 불확실성을 활용하여, 특히 높은 불확실성 또는 다중모달 영역에서 정책 최적화를 이끌어낸다.
• 자기회귀적 동역학에서 학습을 안정화하기 위해 정책 평가 이전에 무작위 탐색을 위한 웜업 단계를 도입한다.

실험 결과

연구 질문

• RQ1 확률적 입력을 갖는 베이지안 신경망은 다중모달성과 이방산성을 포함한 복잡한 확률적 동역학을 결정론적 모델이나 가우시안 프로세스보다 더 효과적으로 모델링할 수 있는가?
• RQ2 α = 0.5 일 때 α-발산 최소화가 변분 베이즈보다 BNN의 사후 근사값을 더 정확하게 제공하여 확률적 시스템에서의 정책 학습에 유리한가?
• RQ3 제안된 방법은 이전에 모델 기반 접근법이 실패했던 오랜 기간 동안 해결되지 않은 웻-치킨 기준 문제를 성공적으로 해결할 수 있는가?
• RQ4 무작위 롤아웃과 확률적 최적화를 기반으로 한 정책 학습 알고리즘이 가스 터빈 운영과 같은 실제 산업 제어 시나리오에서 얼마나 효과적인가?
• RQ5 BNN의 예측 불확실성은 오프-폴리시 배치 학습에서 정책의 강건성과 샘플 효율성을 어느 정도 향상시키는가?

주요 결과

• Wet-Chicken 기준 테스트에서, 확률적 입력을 갖는 BNN과 α = 0.5 발산 최소화는 가우시안 프로세스와 표준 MLP보다 복잡한 다중모달 전이 동역학을 더 잘 모델링했다.
• 이 방법은 20년 전의 웻-치킨 기준 문제를 성공적으로 해결했으며, 장기적인 시점에서의 불확실성 전파로 인해 이전에 모델 기반 접근법이 실패했던 문제를 해결했다.
• BNN은 α = 0.5 와 α = 1.0 일 때 기준 테스트에서 최고의 테스트 로그우도와 가장 낮은 오차를 기록했고, 가우시안 프로세스와 MLP는 성능이 열악했다.
• BNN은 더 좁은 신뢰구간을 갖는 예측 분포를 생성했고, 이는 MLP가 전체 모드를 놓치는 데 반해 이중모달 경로 분포를 잘 포착했다.
• 실제 가스 터빈 제어 과제에서는 유망한 성과를 달성하여, 탐색이 제한된 산업 환경에서의 적용 가능성을 입증했다.
• 무작위 롤아웃과 확률적 최적화를 통한 정책 최적화는 높은 평균 보상을 달성했으며, α = 1.0 과 α = 0.5 BNN이 가장 우수한 성능을 보였다.