[논문 리뷰] Convergent Tree Backup and Retrace with Function Approximation

Abdelaziz Touati, Pierre‐Luc Bacon외 2명|arXiv (Cornell University)|2017. 05. 25.

Reinforcement Learning in Robotics참고 문헌 32인용 수 7

한 줄 요약

이 논문은 선형 함수 근사와 함께 사용될 때 트리 백업(Tree Backup) 및 리트레이스(Retrace) 알고리즘의 불안정성을 이론적이고도 실험적으로 규명한다. 이를 바탕으로 투자형 최적화를 통한 수렴성과 안정성을 보장하는 새로운 기울기 기반 알고리즘인 GTB와 G Retrace를 제안한다. 이 알고리즘들은 볼록-오목 최적화 문제의 형태를 통해 O(1/k) 수렴 속도를 확보하며, 투사(projection)나 폴리악 평균화(Polyak averaging) 없이도 안정적이고 효율적인 비정책적 강화학습을 실현한다.

ABSTRACT

Off-policy learning is key to scaling up reinforcement learning as it allows to learn about a target policy from the experience generated by a different behavior policy. Unfortunately, it has been challenging to combine off-policy learning with function approximation and multi-step bootstrapping in a way that leads to both stable and efficient algorithms. In this work, we show that the extsc{Tree Backup} and extsc{Retrace} algorithms are unstable with linear function approximation, both in theory and in practice with specific examples. Based on our analysis, we then derive stable and efficient gradient-based algorithms using a quadratic convex-concave saddle-point formulation. By exploiting the problem structure proper to these algorithms, we are able to provide convergence guarantees and finite-sample bounds. The applicability of our new analysis also goes beyond extsc{Tree Backup} and extsc{Retrace} and allows us to provide new convergence rates for the GTD and GTD2 algorithms without having recourse to projections or Polyak averaging.

연구 동기 및 목표

• 비정책적 시간 차분 학습에서 선형 함수 근사와 함께 사용될 때 트리 백업 및 리트레이스 알고리즘이 불안정해지는 원인을 규명하고 분석하는 것.
• 이러한 환경에서 수렴성과 안정성을 보장하는 새로운 기울기 기반 알고리즘을 개발하여 기존 방법의 한계를 극복하는 것.
• 새로운 볼록-오목 최적화 문제의 형태를 통해 제안된 알고리즘의 수렴 보장과 유한 샘플 경계를 수립하는 것.
• GTD 및 GTD2와 같은 기존 알고리즘의 분석을 확장하여, 투사나 폴리악 평균화 없이도 수렴 속도 분석을 향상시키는 것.
• GQ(λ) 및 AB-Trace(λ)와 같은 최신 기법들과의 비교를 통해 제안된 알고리즘의 강인성과 샘플 효율성을 실험적으로 검증하는 것.

제안 방법

• 정책 평가 문제를 원시 변수(함수 매개변수)와 이중 변수(시간 차분 오차)를 포함하는 볼록-오목 최적화 문제로 재구성한다.
• 원시 및 이중 변수 간의 이차형 상호작용을 통해 평균 제곱 투사 벨만 오차(MSPBE)를 최소화하는 확률적 원시-이중 기울기 알고리즘을 유도한다.
• 계산 가능하고 수렴 가능한 업데이트를 보장하기 위해 제곱형 정규화 항을 도입하여, 원격 매핑(proximal mapping)이나 강한 볼록성 가정의 필요성을 피한다.
• 일반적인 미분방정식(ODE) 방법을 적용하여 평균 동역학을 분석하고, 선형 함수 근사와 함께 사용될 때 기존 트리 백업 및 리트레이스 알고리즘이 불안정함을 증명한다.
• 폴리악 평균화나 투사 단계에 의존하지 않고도 O(1/k) 수렴 속도를 확보할 수 있는 새로운 분석 기법을 도입한다.
• 동일한 프레임워크를 활용해 GTD 및 GTD2 알고리즘의 재유도 및 수렴 속도 경계 향상 분석을 수행한다.

실험 결과

연구 질문

• RQ1 왜 트리 백업 및 리트레이스 알고리즘은 선형 함수 근사와 함께 사용될 경우 수렴하지 못하는가?
• RQ2 함수 근사와 다단계 부트스트랩을 활용한 안정적이고 수렴 가능하며 효율적인 비정책적 알고리즘을 설계할 수 있는가?
• RQ3 제안된 알고리즘의 수렴 속도는 무엇이며, 투사나 폴리악 평균화 없이도 이를 확보할 수 있는가?
• RQ4 제안된 볼록-오목 최적화 프레임워크는 기존 알고리즘인 GTD 및 GTD2의 수렴 분석을 향상시키는 데 응용될 수 있는가?
• RQ5 실제 적용에서 GQ(λ), AB-Trace(λ), 기타 최신 기법들과 비교했을 때 제안된 알고리즘은 강인성과 샘플 효율성 측면에서 어떻게 성능을 발휘하는가?

주요 결과

• ODE 분석과 구체적인 반례를 통해 트리 백업 및 리트레이스 알고리즘이 선형 함수 근사와 함께 사용될 경우 이론적으로나 실험적으로 불안정함이 입증되었다.
• 제안된 GTB 및 G Retrace 알고리즘은 투사나 폴리악 평균화 없이도 O(1/k) 수렴 속도를 달성하여 안정적인 학습을 보장한다.
• 상태 공간에 따라 단계 크기 선택에 대해 강인한 성능을 보였으며, NMSE 분포의 상자 그림을 통해 GTB(λ)가 가장 낮은 분산을 보였다.
• G Retrace(λ)와 AB-Trace(λ)는 λ에 관계없이 거의 동일한 최적의 MSPBE 값을 기록하여 동일한 목적 함수를 최소화함을 확인하였다.
• NMSE의 5번째 백분위수 분석 결과, GQ(λ)는 중요도 샘플링으로 인해 높은 분산을 보이며 불안정한 반면, GTB 및 G Retrace는 더 강인하고 효율적인 성능을 보였다.
• 볼록-오목 최적화 프레임워크를 통해 GTD 및 GTD2의 수렴 속도 분석이 향상되었으며, 원래 알고리즘의 범위를 초월하는 분석이 가능해졌다.