[논문 리뷰] An Off-policy Policy Gradient Theorem Using Emphatic Weightings

Ehsan Imani, Eric Graves외 1명|arXiv (Cornell University)|2018. 11. 22.

Reinforcement Learning in Robotics참고 문헌 33인용 수 4

한 줄 요약

이 논문은 일반적인 정책 파rameterization을 위한 최초의 비정책 정책 기울기 정리(gradient theorem)를 제안하며, 강조 가중치(емфатик 웨이팅스)를 사용하여 정확한 기울기 추정을 가능하게 한다. 제안된 ACE 알고리즘은 기존의 OffPAC 및 DPG와 같은 방법들이 실패하는 반례에서 최적의 정책으로 수렴함으로써, 비정책 학습에서 반사적 기울기 근사(approximation)보다 정확한 기울기 업데이트의 필요성을 입증한다.

ABSTRACT

Policy gradient methods are widely used for control in reinforcement learning, particularly for the continuous action setting. There have been a host of theoretically sound algorithms proposed for the on-policy setting, due to the existence of the policy gradient theorem which provides a simplified form for the gradient. In off-policy learning, however, where the behaviour policy is not necessarily attempting to learn and follow the optimal policy for the given task, the existence of such a theorem has been elusive. In this work, we solve this open problem by providing the first off-policy policy gradient theorem. The key to the derivation is the use of $emphatic$ $weightings$. We develop a new actor-critic algorithm$\unicode{x2014}$called Actor Critic with Emphatic weightings (ACE)$\unicode{x2014}$that approximates the simplified gradients provided by the theorem. We demonstrate in a simple counterexample that previous off-policy policy gradient methods$\unicode{x2014}$particularly OffPAC and DPG$\unicode{x2014}$converge to the wrong solution whereas ACE finds the optimal solution.

연구 동기 및 목표

• 일반적인 정책 파arameterization을 위한 이론적으로 타당한 비정책 정책 기울기 정리를 유도하는 데 장기적인 열린 문제를 해결하기 위해.
• 기존의 비정책 정책 기울기 방법들인 OffPAC 및 DPG와 같은 방법들이 반사적 기울기 근사를 기반으로 하여 최적 해가 아닌 해로 수렴할 수 있는 한계를 해결하기 위해.
• 비정책 분포 이탈을 보정하기 위해 강조 가중치를 통합하여 진정한 기울기 방향을 따르는 새로운 액터-크리틱 알고리즘 ACE를 개발하기 위해.
• 반례를 통한 실험을 통해 반사적 기울기 방법이 최적의 정책으로 수렴하지 못하는 반면 ACE는 성공함을 입증하기 위해.
• 이론적 강조 가중치와 추정된 강조 가중치의 정확도가 표본 공간과 연속 행동 설정 모두에서 학습 성능에 미치는 영향을 조사하기 위해.

제안 방법

• 강조 가중치를 사용하여 행동 정책와 목표 정책 간의 격차를 보정함으로써 기울기를 단순화하는 새로운 비정책 정책 기울기 정리를 유도한다.
• 유도된 정리를 바탕으로 정확한 기울기를 계산하여 정책 업데이트에 사용하는 액터-크리틱 알고리즘 ACE를 제안한다.
• Yu (2015)와 Sutton et al. (2016)의 기법을 활용해 강조 가중치를 점진적으로 추정함으로써, 알 수 없는 환경에서도 온라인 학습을 가능하게 한다.
• 정책 기울기 정리를 확률적 정책과 결정적 정책 모두에 적용하여, 다양한 정책 유형에 일반화됨을 보여준다.
• 비평가(critic)는 상태 가치를 추정하고, 별도의 액터(actor)는 강조 가중치가 부여된 기울기를 기반으로 정책 파arameter를 업데이트한다.
• 중요도 샘플링 비율과 강조 가중치를 활용해 비정책 데이터 분포를 보정함으로써, 편향 없는 기울기 추정을 보장한다.

실험 결과

연구 질문

• RQ1 표본 공간을 초월한 일반적인 정책 파arameterization을 위한 이론적으로 타당한 비정책 정책 기울기 정리를 도출할 수 있는가?
• RQ2 OffPAC 및 DPG와 같은 기존의 비정책 정책 기울기 방법들이 반사적 기울기 근사를 기반으로 하여 최적 해가 아닌 해로 수렴하는가?
• RQ3 강조 가중치의 사용이 비정책 학습에서 정확한 기울기 추정을 가능하게 하고, 최적의 정책으로 수렴하게 하는가?
• RQ4 추정된 강조 가중치의 정확도가 장거리 추적과 연속 행동 공간에서 ACE 알고리즘의 성능에 어떤 영향을 미치는가?
• RQ5 비정책 액터-크리틱 학습에서 진정한 기울기 방향을 따르는 데 반사적 기울기 업데이트보다 본질적인 이점이 있는가?

주요 결과

• 상태 별칭이 있는 3개 상태 반례에서 OffPAC 및 DPG는 최적의 정책이 아닌 해로 수렴하지만, ACE는 최적의 해로 수렴함을 보여주며, 반사적 기울기 방법의 실패를 입증한다.
• 정확한 강조 가중치를 사용하는 True-ACE는 11개 상태 MDP에서 최적 성능을 달성하지만, 추정된 가중치를 사용하는 ACE는 λa가 증가할수록 성능 저하를 보이며, 추정 오차가 학습에 영향을 준다는 것을 시사한다.
• 연속 행동 MDP에서는 DPG가 편향된 업데이트로 인해 양의 행동을 선호하면서 최적의 정책으로 수렴하지 못하지만, True-DPGE 및 True-ACE는 음의 행동 선호도를 정확히 학습한다.
• λa = 1인 ACE는 λa = 0인 경우보다 유의미하게 성능이 뛰어나지만, 여전히 True-ACE에 뒤지며, 추정된 강조 가중치가 복잡한 환경에서 성능 저하를 초래한다는 것을 보여준다.
• 현재의 강조 가중치 추정 방법은 연속 행동 공간에서 부족하며, 이러한 설정으로 ACE를 확장하기 위해서는 더 정확한 추정이 필수적임을 시사한다.
• 연구 결과는 반사적 기울기 방법인 OffPAC 및 DPG가 비정책 설정에서 본질적으로 결함이 있음을 확인하며, 이러한 방법들의 정적점에는 최적의 정책이 포함되지 않음을 입증한다.