[논문 리뷰] Bayesian Policy Gradients via Alpha Divergence Dropout Inference

Peter Henderson, Thang Doan외 2명|arXiv (Cornell University)|2017. 12. 06.

Advanced Bandit Algorithms Research참고 문헌 16인용 수 14

한 줄 요약

이 논문은 정책 그래เดียน트 강화학습에서 가치 함수 분포를 추정하기 위해 알파-다이버전스 드롭아웃 추론을 사용하는 베이지안 신경망(BNN)을 제안한다. 이는 결정론적 가치 네트워크를 대체하는 것이다. 불확실성 인식 가치 함수에서의 몬테카를로 사후 평균 추정치를 활용함으로써, MuJoCo 연속 제어 벤치마크에서 PPO, TRPO, DDPG에 대해 훈련 안정성과 성능이 크게 향상되며, 일부 환경에서는 최대 34%의 성능 향상을 기록한다.

ABSTRACT

Policy gradient methods have had great success in solving continuous control tasks, yet the stochastic nature of such problems makes deterministic value estimation difficult. We propose an approach which instead estimates a distribution by fitting the value function with a Bayesian Neural Network. We optimize an $α$-divergence objective with Bayesian dropout approximation to learn and estimate this distribution. We show that using the Monte Carlo posterior mean of the Bayesian value function distribution, rather than a deterministic network, improves stability and performance of policy gradient methods in continuous control MuJoCo simulations.

연구 동기 및 목표

• 연속 제어 작업에서 정책 그래디언트 방법의 높은 분산과 불안정성을 해결하기 위해 가치 함수 추정의 불확실성을 모델링한다.
• 결정론적 가치 네트워크를 베이지안 신경망(BNN)으로 대체하여 딥 강화학습의 학습 안정성과 성능을 향상시킨다.
• 드롭아웃 기반 변분 추론을 통한 불확실성 인식 가치 함수 추정이 정책 그래디언트 알고리즘에 미치는 영향을 조사한다.
• PPO, TRPO, DDPG와 같은 널리 사용되는 알고리즘에 대한 베이지안 가치 함수 근사의 영향을 평가한다.
• 특히 초기 학습 단계에서 불확실성이 탐색과 정규화에 미치는 역할을 탐색한다.

제안 방법

• 가치 함수를 점 추정치가 아닌 분포로 모델링하기 위해 베이지안 신경망(BNN)을 사용한다.
• 네트워크 가중치에 대한 사후 분포 추정을 위해 몬테카를로 드롭아웃을 변분 추론의 근사 방법으로 적용한다.
• 불확실성 추정과 사후 근사 정확도를 향상시키기 위해 알파-다이버전스 목적함수를 최적화한다.
• 학습 안정성을 향상시키기 위해 정책 업데이트 중에 BNN 가치 함수의 몬테카를로 사후 평균을 활용한다.
• 최소한의 아키텍처 변경으로 표준 정책 그래디언트 프레임워크(PPO, TRPO, DDPG)에 BNN 가치 함수를 통합한다.
• 드롭아웃 비율, 몬테카를로 샘플 수, 온도 파라미터 τ와 같은 하이퍼파라미터를 조정하여 최적화와 정규화의 균형을 이룬다.

실험 결과

연구 질문

• RQ1 알파-다이버전스 드롭아웃을 통한 베이지안 가치 함수 추정이 연속 제어 작업에서 정책 그래디언트 방법의 안정성과 성능을 향상시킬 수 있는가?
• RQ2 결정론적 가치 네트워크와 비교해 BNN 가치 함수의 사후 평균을 사용할 경우 학습 안정성과 최종 수익률 측면에서 어떤 차이가 있는가?
• RQ3 특히 PPO의 초기 학습 단계에서 불확실성 추정이 탐색에 어떤 영향을 미치는가?
• RQ4 드롭아웃 비율과 τ와 같은 하이퍼파라미터가 다양한 알고리즘 간 성능과 일반화에 어떤 영향을 미치는가?
• RQ5 Double-DQN와 유사하게 BNN 기반 가치 함수가 Q-값 추정의 과도한 추정 편향을 줄일 수 있는가?

주요 결과

• BNN 가치 함수를 사용한 PPO는 HalfCheetah-v1에서 최종 평균 수익 2790 ± 284를 기록했으며, 베이스라인(2155 ± 177)과 L2 정규화 버전(2030 ± 234)보다 유의미하게 향상되었고, p < 0.05이다.
• TRPO는 BNN 가치 함수를 사용했을 때 HalfCheetah-v1에서 15% 성능 향상을 기록했으며(3026 ± 144 대비 2605 ± 313), 학습 안정성이 향상됨을 시사한다.
• DDPG는 BNN 가치 함수를 사용해 HalfCheetah-v1에서 최종 수익 4772 ± 736를 기록했으며, 베이스라인(4159 ± 762)을 초월했고 Q-값 과도 추정이 감소함을 보였다.
• 랜덤 시드 간 표준편차가 감소하여 더 일관된 학습 곡선과 향상된 강인성을 나타냈다.
• 절단 실험 결과, 높은 드롭아웃 비율과 최적의 τ 값이 성능 향상에 크게 기여했으며, 특히 PPO에서 탐색과 정규화가 향상됨을 시사했다.
• 몬테카를로 드롭아웃 샘플링의 앙상블 효과로 인해 Q-값 추정의 분산이 감소했으며, 이는 Double-DQN와 유사한 효과였다.