[논문 리뷰] Finite-Sample Analysis of Off-Policy Natural Actor-Critic Algorithm

Sajad Khodadadian, Zaiwei Chen외 1명|arXiv (Cornell University)|2021. 02. 18.

Reinforcement Learning in Robotics참고 문헌 71인용 수 7

한 줄 요약

이 논문은 중요도 샘플링과 새로운 $Q$-trace 알고리즘을 사용하여 편향과 분산을 제어하는 이방향 자연 근사가치기반정책학습(NAC) 알고리즘에 대한 유한표본 수렴 분석을 제안한다. 이는 최소한의 가정 하에 이방향 NAC에 대해 알려진 바 없는 첫 번째 표본 복잡도 한계 $\mathcal{O}(\epsilon^{-3}\log^2(1/\epsilon))$ 를 확립하며, 기존의 동일방향 및 이방향 기준선보다 뛰어난 성능을 보인다.

ABSTRACT

In this paper, we provide finite-sample convergence guarantees for an off-policy variant of the natural actor-critic (NAC) algorithm based on Importance Sampling. In particular, we show that the algorithm converges to a global optimal policy with a sample complexity of $\mathcal{O}(ε^{-3}\log^2(1/ε))$ under an appropriate choice of stepsizes. In order to overcome the issue of large variance due to Importance Sampling, we propose the $Q$-trace algorithm for the critic, which is inspired by the V-trace algorithm \cite{espeholt2018impala}. This enables us to explicitly control the bias and variance, and characterize the trade-off between them. As an advantage of off-policy sampling, a major feature of our result is that we do not need any additional assumptions, beyond the ergodicity of the Markov chain induced by the behavior policy.

연구 동기 및 목표

• 이방향 자연 근사가치기반정책학습(NAC) 알고리즘에 대한 유한표본 수렴 보장을 제공하기 위해.
• 중요도 샘플링으로 인한 이방향 학습의 높은 분산 문제를 제어하는 트렁케이션 메커니즘을 도입하기 위해.
• 단일 경로 데이터만을 사용하여도 알려진 바 없는 첫 번째 이방향 NAC 알고리즘에 대한 유한표본 수렴 한계를 확립하기 위해.
• 이방향 NAC가 동일방향 대비 더 나은 이론적 표본 복잡도를 달성할 수 있음을 보여주기 위해.
• 행동 정책의 에르고딕성 이외의 추가 가정 없이도 이방향 NAC가 전역 최적 정책으로 수렴함을 보여주기 위해.

제안 방법

• 편향과 분산을 제어할 수 있는 $Q$-함수 추정을 위해 V-trace를 영감으로 삼아 새로운 이방향 TD학습 알고리즘인 $Q$-trace를 제안한다.
• 중요도 샘플링 비율의 절단을 통해 이방향 업데이트의 분산을 제한하면서 동시에 편향과 분산의 상호 교환 관계를 명시적으로 기술한다.
• $Q$-trace를 NAC 프레임워크의 비평가 구성요소에 통합하여 안정적인 이방향 정책 평가를 가능하게 한다.
• 행동자 구성요소에서 피셔 정보 행렬에 의해 전치된 자연 정책 기울기 업데이트를 사용하여 수렴 속도를 높인다.
• 다중 독립 샘플이나 추가 탐색 가정 없이도 단일 경로 데이터를 사용하여 수렴성을 분석한다.
• 적절한 단계 크기 스케줄링 하에 비평가 및 행동자 업데이트의 수렴 속도를 분석함으로써 표본 복잡도 한계를 유도한다.

실험 결과

연구 질문

• RQ1 최소한의 가정 하에 이방향 NAC 알고리즘에 대해 유한표본 수렴 보장을 확립할 수 있는가?
• RQ2 절단된 중요도 샘플링을 통해 이방향 $Q$-함수 추정에서 편향-분산 상호 교환 관계를 어떻게 제어할 수 있는가?
• RQ3 이방향 NAC의 최적 표본 복잡도는 동일방향 변형보다 어떻게 다른가?
• RQ4 단일 경로 데이터만을 사용하는 이방향 학습이 추가 가정 없이도 전역 최적 정책으로 수렴할 수 있는가?
• RQ5 트렁케이션 수준의 선택이 이방향 NAC 알고리즘의 수렴 행동과 안정성에 어떤 영향을 미치는가?

주요 결과

• 제안된 이방향 NAC 알고리즘은 $\epsilon$-최적 정책을 찾는 데 표본 복잡도 $\mathcal{O}(\epsilon^{-3}\log^2(1/\epsilon))$ 를 달성한다.
• $Q$-trace 알고리즘은 중요도 샘플링 비율을 절단하여 이방향 $Q$-함수 추정에서 편향-분산 상호 교환 관계를 명시적으로 제어할 수 있다.
• 행동 정책의 에르고딕성 조건만으로도 알고리즘이 전역 최적 정책으로 수렴함을 보이며, 추가 조건이 필요하지 않다.
• 이방향 NAC 알고리즘의 이론적 표본 복잡도는 기존의 동일방향 NAC 알고리즘보다 뛰어나며, 기존의 최고 수준의 경계 $\tilde{\mathcal{O}}(\epsilon^{-14})$ 와 $\tilde{\mathcal{O}}(\epsilon^{-6})$ 보다 우월하다.
• 실험 결과는 트렁케이션 수준 $\bar{\rho}$ 와 $\bar{c}$ 의 선택이 수렴 속도와 안정성에 크게 영향을 주며, $\bar{\rho}=3, \bar{c}=1$ 이 가장 우수한 성능을 보였다.
• 비평가에서 반복 샘플을 사용할 경우 수렴하지 않음을 확인하여, 안정적인 학습을 위해 각 업데이트마다 독립적인 샘플이 필요함을 시사한다.