[논문 리뷰] Proximal Gradient Temporal Difference Learning: Stable Reinforcement Learning with Polynomial Sample Complexity

Bo Liu, Ian Gemp외 4명|arXiv (Cornell University)|2020. 06. 06.

Model Reduction and Neural Networks인용 수 5

한 줄 요약

이 논문은 원래의 벨만 오차 최소화 문제로부터 유도된 원시-이중 사鞍점 목적함수를 통해 진정한 확률적 경사하강 알고리즘을 설계하기 위한 원리적인 프레임워크인 프록시멀 그라디언트 시간차(PG-TD) 학습을 소개한다. 이는 오프-폴리시 GTD 방법에 대해 처음으로 유한 샘플 분석을 제공하며, 다항 수준의 샘플 복잡도를 입증하고, 미러 맵을 통해 수렴 속도 향상을 가능하게 하며, 실험을 통해 기준선 및 LSTD 방법보다 향상된 성능을 입증한다.

ABSTRACT

In this paper, we introduce proximal gradient temporal difference learning, which provides a principled way of designing and analyzing true stochastic gradient temporal difference learning algorithms. We show how gradient TD (GTD) reinforcement learning methods can be formally derived, not by starting from their original objective functions, as previously attempted, but rather from a primal-dual saddle-point objective function. We also conduct a saddle-point error analysis to obtain finite-sample bounds on their performance. Previous analyses of this class of algorithms use stochastic approximation techniques to prove asymptotic convergence, and do not provide any finite-sample analysis. We also propose an accelerated algorithm, called GTD2-MP, that uses proximal ``mirror maps'' to yield an improved convergence rate. The results of our theoretical analysis imply that the GTD family of algorithms are comparable and may indeed be preferred over existing least squares TD methods for off-policy learning, due to their linear complexity. We provide experimental results showing the improved performance of our accelerated gradient TD methods.

연구 동기 및 목표

• 원시-이중 사鞍점 목적함수를 통해 광범위하게 사용되는 경사하강 TD(GTD) 알고리즘의 부호적 유도를 해결하고, 원칙적인 접근을 통해 진정한 확률적 경사하강 방법으로 공식화한다.
• 이전 연구에서 이러한 분석이 부족했던 오프-폴리시 GTD 알고리즘에 대해 처음으로 유한 샘플 수렴 분석을 제공한다.
• 수렴 속도 향상을 위해 프록시멀 미러 맵을 사용하여 GTD 변형(예: GTD2-MP)을 설계하고 분석한다.
• 선형 계산 복잡도 덕분에 오프-폴리시 환경에서 LSTD 방법과 비교해도 GTD 방법이 유사하거나 우수한 성능을 보임을 보여준다.
• 유한 샘플 하에서 일반화 오차와 수렴 속도에 대한 이론적 경계를 수립하여 실용적 성능 예측을 가능하게 한다.

제안 방법

• 원래의 벨만 오차 최소화 문제로부터 유도된 원시-이중 사鞍점 목적함수에 대한 확률적 경사하강 방법으로 GTD 알고리즘을 공식화한다.
• 안정적인 진정한 확률적 경사하강 업데이트를 도출하기 위해 연산자 분할 기법을 적용하여 부호적 항 분해를 피한다.
• 업데이트 규칙에 곡률 정보를 통합함으로써 수렴 속도를 향상시키기 위해 프록시멀 미러 맵(예: GTD2-MP)을 도입한다.
• 사鞍점 오차 분석을 사용하여 가치 함수 추정치의 기대 오차에 대한 유한 샘플 경계를 유도한다.
• 샘플 크기와 문제 조건 수치를 기반으로 평균 반복값이 최적 해에서 벗어나지 않는 기대값을 경계하여 수렴 속도를 확립한다.
• 기존 및 신규 GTD 변형을 분석하기 위한 통합된 분석 프레임워크를 기반으로, 확률적 근사와 사鞍점 최적화를 활용한다.

실험 결과

연구 질문

• RQ1 GTD 알고리즘은 부호적 분해가 아닌 원칙적인 접근을 통해 진정한 확률적 경사하강 방법으로 공식화될 수 있는가?
• RQ2 오프-폴리시 GTD 방법의 유한 샘플 수렴 행동은 어떻게 되며, 샘플 수와 알고리즘 파라미터에 따라 어떻게 달라지는가?
• RQ3 프록시멀 미러 맵을 사용하여 GTD 알고리즘의 수렴 속도를 가속하면서도 안정성을 유지할 수 있는가?
• RQ4 오프-폴리시 환경에서 GTD 방법의 유한 샘플 경계는 LSTD 기반 방법과 비교해 어떻게 되는가?
• RQ5 편향이 있는 중요도 샘플링은 제안된 GTD 변형의 수렴과 성능에 어떤 영향을 미치는가?

주요 결과

• 이 논문은 오프-폴리시 GTD 알고리즘에 대해 처음으로 유한 샘플 수렴 경계를 확립하여, 기대 오차가 샘플 수에 대해 다항 수준으로 감소함을 입증한다.
• 프록시멀 미러 맵을 사용하는 GTD2-MP 알고리즘은 실험적으로 표준 GTD 방법보다 더 빠른 수렴 속도를 달성한다.
• 유한 샘플 오차 경계는 특징 행렬의 조건 수와 전이 행렬의 최대 특이값을 기반으로 유도되었으며, 알고리즘의 안정성과 속도에 대한 통찰을 제공한다.
• 분석 결과, GTD 방법은 반복당 선형 계산 복잡도를 가지며, 특징 차원에 대해 제곱 복잡도를 가지는 LSTD 방법보다 더 스케일러블하다.
• 이론적 프레임워크는 기존 및 신규 GTD 변형의 통합 분석을 가능하게 하여, 이들이 유한 샘플 하에서도 강건하고 수렴함을 입증한다.
• 실험 결과는 가속화된 GTD2-MP 방법이 표준 GTD 및 LSTD 기준선 대비 배터리 에너지 차익거래 영역에서 수렴 속도와 최종 오차 측면에서 뛰어난 성능을 보임을 확인한다.