[논문 리뷰] Policy Gradient Methods for Off-policy Control

Lucas Lehnert, Doina Precup|arXiv (Cornell University)|2015. 12. 13.

Reinforcement Learning in Robotics참고 문헌 6인용 수 5

한 줄 요약

이 논문은 정책 기반 강화 학습 알고리즘인 정책 기반 Q-학습(PGQ)을 소개한다. PGQ는 정책 기반 학습 기법을 GQ 프레임워크에 통합하여 비정상적인 행동 정책에 의한 분포 이탈을 보정함으로써 제어 문제에서 수렴성을 확보한다. 정책 파라미터에 따라 정적 분포를 모델링함으로써 PGQ는 동시에 정책을 개선하고 평가함으로써 수렴성을 보장하며, Baird 카운터예제와 같은 비정책 설정에서 Q-학습과 GQ를 능가한다.

ABSTRACT

Off-policy learning refers to the problem of learning the value function of a way of behaving, or policy, while following a different policy. Gradient-based off-policy learning algorithms, such as GTD and TDC/GQ, converge even when using function approximation and incremental updates. However, they have been developed for the case of a fixed behavior policy. In control problems, one would like to adapt the behavior policy over time to become more greedy with respect to the existing value function. In this paper, we present the first gradient-based learning algorithms for this problem, which rely on the framework of policy gradient in order to modify the behavior policy. We present derivations of the algorithms, a convergence theorem, and empirical evidence showing that they compare favorably to existing approaches.

연구 동기 및 목표

• 비정상적인 행동 정책이 분포 이탈을 유발하는 비정책 제어 문제에서 수렴하는 기반 기반 비정책 알고리즘이 부족한 문제를 해결한다.
• GQ와 TDC와 같은 비정책 가치 함수 학습 방법을 정책 기반 보정 항을 통합하여 제어 설정으로 확장한다.
• 정책 파라미터에 따라 정적 분포를 함수로 모델링하여 비정책 제어에서 안정적인 학습을 가능하게 한다.
• 함수 근사와 함께 기반 기반 비정책 제어에 대한 이론적 수렴 보장을 제공한다.
• Baird 카운터예제와 같은 도전적인 비정책 환경에서 방법을 실증적으로 검증한다.

제안 방법

• 정책 파라미터 $\theta$에 의존하는 정적 분포 $d_{s,a}$를 명시적으로 모델링하는 수정된 평균 제곱 투영 벨만 오차(MSPBE) 목적함수를 제안한다. 이는 $d_{s,a} = d_s \pi_\theta(a|s)$를 통해 표현된다.
• 벨만 연산자와 정적 분포가 $\theta$에 대해 매개변수적으로 의존함을 고려하여 MSPBE 목적함수의 기울기를 유도함으로써 정책 기반 기반 항을 도입한다.
• 값 함수 파라미터 $\theta$를 위한 새로운 업데이트 규칙을 도입한다. 이 규칙은 $\rho^\nabla \delta (\phi^\top w)$에 비례하는 보정 항을 포함하며, $\rho^\nabla$는 정책 기반 기반 영향이 분포에 미치는 영향을 캡처한다.
• 두 시간 척도 업데이트를 사용한다: $\theta$는 학습률 $\alpha$로 업데이트되고, 투영된 벨만 오차를 위한 가중치 벡터 $w$는 학습률 $\beta$로 업데이트되어 안정성을 확보한다.
• 탐색을 위해 볼츠만 정책을 사용하며, 행동 선택 확률은 $\pi_\theta(a|s) = \exp(\theta^\top \phi(s,a)/\tau)/\sum_b \exp(\theta^\top \phi(s,b)/\tau)$로 표현된다.
• 샘플된 전이 또는 시뮬레이션된 궤적을 사용하여 온정책 및 비정책 업데이트를 수행하며, MSPBE와 MSTDE를 평가 지표로 사용한다.

실험 결과

연구 질문

• RQ1 비정상적인 행동 정책을 가진 제어 문제에 대해 기반 기반 비정책 알고리즘을 확장할 수 있을까? 이 경우에도 수렴성이 유지되는가?
• RQ2 GQ/TDC 프레임워크에 정책 기반 기반 항을 통합하여 비정책 학습에서 발생하는 분포 이탈을 보정할 수 있는가?
• RQ3 제안된 PGQ 알고리즘이 Baird 카운터예제와 같은 도전적인 비정책 환경에서 MSPBE가 0으로 수렴하는가?
• RQ4 비정책 샘플링 조건 하에서 PGQ는 Q-학습과 GQ에 비해 안정성과 수렴 속도에서 어떻게 비교되는가?
• RQ5 비정책 가치 함수 학습에서 정책 파라미터에 대한 정적 분포 의존성의 영향은 무엇인가?

주요 결과

• Baird 카운터예제에서 PGQ는 MSPBE가 0으로 수렴하는 반면, 동일한 조건에서 Q-학습은 단조적으로 발산한다.
• 샘플 기반 및 궤적 기반 실험 모두에서 PGQ는 안정적인 수렴을 달성하였으며, Q-학습을 능가하고 GQ와 수렴 속도 및 정확도에서 유사한 성능을 보였다.
• 값 함수 업데이트에 정책 기반 보정 항을 통합함으로써 정책 적응에 의해 발생하는 분포 이탈을 성공적으로 완화하였다.
• 실증 결과로 PGQ는 반복 실행 동안 낮은 MSPBE와 MSTDE를 유지함으로써 강건성과 안정성을 보였다.
• 비정책 설정에서 볼츠만 탐색 정책을 사용하더라도 PGQ는 수렴함을 보였으며, 이는 행동 정책가 타겟 정책와 다를 경우에도 성립한다.
• 이론적 분석을 통해 기울기 유도 과정가 정책 파라미터 $\theta$에 따른 정적 분포의 매개변수적 의존성을 고려함으로써 제어 문제에서 안정적인 학습이 가능하다는 것을 확인하였다.