[논문 리뷰] VIREL: A Variational Inference Framework for Reinforcement Learning

Matthew Fellows, Anuj Mahajan외 2명|arXiv (Cornell University)|2018. 11. 03.

Reinforcement Learning in Robotics참고 문헌 77인용 수 12

한 줄 요약

이 논문은 강화학습을 위한 변분 추론 프레임워크인 VIREL을 제안한다. 이 프레임워크는 정책 최적화를 기대값-최대화 문제로 공식화하여, 가치함수와 정책 학습을 별도로 반복적으로 업데이트할 수 있도록 한다. 모드를 향한 KL 발산과 파arameterized 행동가치 함수를 활용함으로써 VIREL은 결정론적 최적 정책을 학습하고, 고차원 연속 제어 과제에서 최신 기법인 SAC보다 뛰어난 성능을 보인다.

ABSTRACT

Applying probabilistic models to reinforcement learning (RL) enables the application of powerful optimisation tools such as variational inference to RL. However, existing inference frameworks and their algorithms pose significant challenges for learning optimal policies, e.g., the absence of mode capturing behaviour in pseudo-likelihood methods and difficulties learning deterministic policies in maximum entropy RL based approaches. We propose VIREL, a novel, theoretically grounded probabilistic inference framework for RL that utilises a parametrised action-value function to summarise future dynamics of the underlying MDP. This gives VIREL a mode-seeking form of KL divergence, the ability to learn deterministic optimal polices naturally from inference and the ability to optimise value functions and policies in separate, iterative steps. In applying variational expectation-maximisation to VIREL we thus show that the actor-critic algorithm can be reduced to expectation-maximisation, with policy improvement equivalent to an E-step and policy evaluation to an M-step. We then derive a family of actor-critic methods from VIREL, including a scheme for adaptive exploration. Finally, we demonstrate that actor-critic algorithms from this family outperform state-of-the-art methods based on soft value functions in several domains.

연구 동기 및 목표

• 기존의 RL-추론 프레임워크의 한계를 해결하기 위해, 예측 가능성 방법에서의 모드 포착 부족과 최대 엔트로피 RL에서의 결정론적 정책 호환성 문제를 해결한다.
• 행동가치 함수의 불확실성을 통합하여 탐색을 이끄는 이론적으로 탄탄한 프레임워크를 제공함으로써, 결정론적 정책 학습을 지원한다.
• 가치 함수 및 정책 네트워크의 함수 근사에 대한 공식적인 통합을 제공하여 근사 하에 수렴 분석을 보장한다.
• 정책 개선이 E-단계에 해당하고, 정책 평가가 M-단계에 해당하는 단일한 변분 EM 프레임워크 내에서 액터-크리틱 알고리즘을 통합한다.
• 복잡한 환경에서 성능을 향상시키기 위해 탐색과 이용을 적응적으로 균형 잡는 실용적인 알고리즘을 개발한다.

제안 방법

• VIREL은 향후 동역학을 요약하기 위해 파arameterized 행동가치 함수 $\hat{Q}_{\omega}(h)$ 를 사용하여 RL 문제를 확률적 추론으로 공식화한다.
• E-단계는 정책 개선에, M-단계는 가치함수 평가에 해당하는 변분 EM 알고리즘을 적용한다.
• 정책이 고수익 행동에 집중하도록 유도하기 위해 모드를 향한 형태의 KL 발산을 사용함으로써 샘플 효율성을 향상시킨다.
• 재구성 기반 경사하강법을 사용하여 정책 및 가치함수 파라미터에 대한 분석적 업데이트를 유도함으로써 딥 네트워크를 통한 엔드 투 엔드 학습을 가능하게 한다.
• virel과 beta라는 두 가지 알고리즘이 유도되며, 후자는 추정된 분산 $\varepsilon_{\omega}$ 를 통한 적응적 엔트로피 스케일링을 도입한다.
• 정책과 가치함수 최적화를 분리함으로써, 타겟 네트워크 스무딩을 $\bar{\phi}$ 를 통해 제공하는 별도의 반복적 업데이트를 가능하게 한다.

실험 결과

연구 질문

• RQ1 변분 추론 프레임워크를 통해 액터-크리틱 방법을 원칙적인 EM 프레임워크 내에서 통합하면서 결정론적 정책 학습을 지원할 수 있는가?
• RQ2 표준 엔트로피 정규화와 비교해 모드를 향한 KL 발산을 사용할 경우 정책 최적화에 어떤 영향을 미치는가?
• RQ3 가치 및 정책 네트워크의 함수 근사가 추론 프레임워크에 공식적으로 통합될 수 있는 정도는 어느 정도이며, 수렴 보장이 있는가?
• RQ4 제안된 프레임워크는 고차원 연속 제어 과제에서 SAC와 같은 최신 기법을 능가할 수 있는가?
• RQ5 행동가치 함수의 불확실성에 의해 이끌리는 적응적 탐색은 샘플 효율성과 최종 성능에 어떤 영향을 미치는가?

주요 결과

• VIREL은 복잡한 고차원 MuJoCo 환경, 특히 연속 행동 공간을 가진 과제에서 소프트 액터-크리틱(SAC)과 DDPG를 능가한다.
• 이 프레임워크는 온전한 변분 추론을 통해 결정론적 최적 정책을 자연스럽게 학습하며, 온도 기반 엔트로피 정규화가 필요 없어진다.
• 알고리즘의 beta 변종은 Q-함수 오차의 분산을 추정함으로써 탐색을 적응적으로 조절하여 샘플 효율성을 향상시킨다.
• 간단한 저차원 과제에서는 VIREL이 SAC 및 DDPG와 유사한 성능을 보이나, 복잡한 환경에서는 성능 격차가 커진다.
• 이론적 분석을 통해 정책 개선과 가치함수 업데이트가 정확히 EM 알고리즘의 E-단계와 M-단계에 해당함을 확인하였으며, 통합 최적화 프레임워크를 제공한다.