[논문 리뷰] Finite Sample Analyses for TD(0) with Function Approximation

Gal Dalal, Balázs Szörényi외 2명|arXiv (Cornell University)|2017. 04. 04.

Reinforcement Learning in Robotics참고 문헌 23인용 수 8

한 줄 요약

이 논문은 선형 함수 근사와 함께 표준적이고 수정되지 않은 TD(0) 알고리즘에 대한 유한 표본 수렴 분석을 처음으로 제시한다. 새로운 확률적 근사 기법을 사용하여, 투영이나 문제에 의존하는 단계 크기 조정 없이 기대값 기반 및 높은 확률 수렴 속도를 확립한다.

ABSTRACT

TD(0) is one of the most commonly used algorithms in reinforcement learning. Despite this, there is no existing finite sample analysis for TD(0) with function approximation, even for the linear case. Our work is the first to provide such results. Existing convergence rates for Temporal Difference (TD) methods apply only to somewhat modified versions, e.g., projected variants or ones where stepsizes depend on unknown problem parameters. Our analyses obviate these artificial alterations by exploiting strong properties of TD(0). We provide convergence rates both in expectation and with high-probability. The two are obtained via different approaches that use relatively unknown, recently developed stochastic approximation techniques.

연구 동기 및 목표

• 이전에 수렴 속도 결과가 없었던, 선형 함수 근사와 함께 TD(0)에 대한 유한 표본 분석 이론적 간극을 메우기 위해.
• 투영이나 알려지지 않은 매개변수에 의존하는 단계 크기 조정 없이, 표준 학습률 설정 하에서 원본의 수정되지 않은 TD(0) 알고리즘을 분석하기 위해.
• 기대값 및 높은 확률 수렴 보장을 제공하여 기존 문헌의 핵심 한계를 해결하기 위해.
• 비선형 함수 근사(예: 딥 네ural 네트워크)에 적용 가능한 일반적인 방법론 프레임워크를 개발하기 위해.

제안 방법

• TD(0)의 강력한 성질을 활용하여, 투영이나 고유값에 의존하는 단계 크기 조정과 같은 인위적 수정을 피하기 위해.
• 최근 개발된 확률적 근사 기법(예: 매개수의 변화 공식 및 Alekseev의 공식)을 적용하여 경계를 유도하기 위해.
• 기대값 기반 수렴 속도를 위해 귀납적 추론을 사용하고, 농도 불확실성 불등식을 통한 별도의 높은 확률 분석을 수행하기 위해.
• 초기 반복 값이 안정 영역 내에 있을 조건 하에 경계를 설정하여, 불량 조건 행렬의 경우 잘라낸 해로의 수렴 분석을 가능하게 하기 위해.
• 알고리즘을 확률적 근사 과정으로 간주함으로써 온라인 TD 학습 분석을 위한 새로운 프레임워크를 도입하기 위해.
• 비선형 ODE 분석 및 Alekseev의 공식을 사용하여 비선형 함수 근사로 접근을 확장하고, 안정 평형점의 안정 영역에 대한 가정을 설정하기 위해.

실험 결과

연구 질문

• RQ1 원본의 수정되지 않은 TD(0) 알고리즘에 대해 선형 함수 근사와 함께 유한 표본 수렴 속도를 확립할 수 있는가?
• RQ2 투영이나 문제에 특화된 단계 크기 조정 없이, TD(0)의 기대값 및 높은 확률 수렴 속도는 무엇인가?
• RQ3 특히 고유값이 0인 경우에 특징 행렬이 불량 조건일 경우 알고리즘이 어떻게 행동하는가?
• RQ4 이론적 프레임워크는 딥 네URAL 네트워크와 같은 비선형 함수 근사로 확장될 수 있는가?
• RQ5 노이즈가 있는 업데이트 하에서, 초기 매개수 벡터는 TD(0)의 수렴 행동에 어떤 역할을 하는가?

주요 결과

• 이 연구는 투영이나 알려지지 않은 매개변수에 의존하는 단계 크기 조정 없이, 표준 TD(0) 알고리즘에 대해 선형 함수 근사와 함께 최초로 유한 표본 수렴 속도를 제공한다.
• 기대값 기반 수렴 속도는 TD(0) 업데이트의 구조와 관련된 ODE 성질을 활용한 귀납적 증명을 통해 확립된다.
• 고급 농도 불확실성 기법을 사용하여 높은 확률 경계를 도출하였으며, 표본 복잡도 경계는 $ \tilde{O}\left(\left(\frac{1}{\epsilon}\ln\frac{1}{\delta}\right)^{\max\{1+\frac{1}{\lambda},2\}}\right) $ (λ > 1/2일 경우) 및 $ \tilde{O}\left(\left(\frac{1}{\epsilon}\ln\frac{1}{\delta}\right)^{1+\frac{1}{\lambda}}\right) $ (λ < 1/2일 경우)이다.
• 분석 결과, 매트릭스 $ A $ 가 불량 조건일 경우 $ A $ 의 영공간을 따라 진전이 없기 때문에 진정한 해로의 수렴이 보장되지 않으며, 초기 반복 값에 따라 다른 잘라낸 해로 수렴할 수 있음을 밝혀냈다.
• 비선형 ODE 분석 및 Alekseev의 공식을 통해 안정 평형점의 안정 영역에 대한 가정 하에, 이 방법은 비선형 함수 근사(예: 신경망)로 일반화 가능하다.
• 이 프레임워크는 두 시간 척도 설정으로 확장 가능하며, 적응형 학습률로의 응용 가능성까지 고려할 수 있어 선형 함수 근사 외적 적용 범위가 넓다.