[논문 리뷰] Rate of Convergence and Error Bounds for LSTD($λ$)

Manel Tagorti, Bruno Scherrer|arXiv (Cornell University)|2014. 05. 13.

Markov Chains and Monte Carlo Methods참고 문헌 11인용 수 3

한 줄 요약

이 논문은 β-혼합 조건 하에서 유사도 추정치를 갖는 LSTD(λ) 알고리즘에 대해 고확률 오차 경계와 수렴 속도를 설정한다. λ ∈ (0,1) 일 때 모든 경우에 대해 Õ(1/√n) 의 수렴 속도를 증명하며, λ = 0 인 이전 결과를 확장하고 개선하며, 선형 함수 근사의 품질과 표본 크기에 기반한 최적의 λ 선택에 대한 통찰을 제공한다.

ABSTRACT

We consider LSTD($λ$), the least-squares temporal-difference algorithm with eligibility traces algorithm proposed by Boyan (2002). It computes a linear approximation of the value function of a fixed policy in a large Markov Decision Process. Under a $β$-mixing assumption, we derive, for any value of $λ\in (0,1)$, a high-probability estimate of the rate of convergence of this algorithm to its limit. We deduce a high-probability bound on the error of this algorithm, that extends (and slightly improves) that derived by Lazaric et al. (2012) in the specific case where $λ=0$. In particular, our analysis sheds some light on the choice of $λ$ with respect to the quality of the chosen linear space and the number of samples, that complies with simulations.

연구 동기 및 목표

• λ > 0 인 경우 LSTD(λ)에 대한 유한 표본 오차 경계의 격차를 메우기 위해, 이미 알려진 점근적 수렴성과는 별개로.
• Lazaric 등 (2012) 이 이전에 λ = 0 인 경우에 유도한 고확률 오차 경계를 일반적인 λ ∈ (0,1) 으로 확장하기 위해.
• 선형 근사 품질과 표본 효율성 측면에서 λ 선택에 대한 이론적 근거를 제공하기 위해.
• β-혼합 조건 하에서 LSTD(λ)의 수렴 속도를 그 한계에 대해 분석하기 위해.
• λ 선택을 통한 근사 오차와 표본 복잡도의 균형을 맞추는 데 실용적인 지침을 제공하기 위해.

제안 방법

• β-혼합 조건 하에서 농도 불확실성 불등식을 사용하여 LSTD(λ)의 추정 오차에 대한 고확률 경계를 유도한다.
• 마팅게일 유형의 접근과 베르누이 타입의 부등식을 적용하여 경험 평균이 기대값에서 벗어나지 않도록 제어한다.
• 유용성 추적의 구조를 활용하여 LSTD(λ) 업데이트를 벨먼 연산자 적용의 가중합으로 표현한다.
• 경험적 추정치와 진짜 해의 편차를 제한하여 Õ(1/√n) 의 수렴 속도를 확립한다.
• 경로 내의 의존성을 분리하기 위해 혼합 시간 m = ⌈log(n−1)/log(1/(λγ))⌉ 을 포함한 커플링 방법을 도입한다.
• 체이닝 방법과 지수 모멘트 경계를 사용하여 경험 오차 벡터의 노름을 제어한다.

실험 결과

연구 질문

• RQ1 β-혼합 조건 하에서 λ ∈ (0,1) 인 경우 LSTD(λ)의 유한 표본 수렴 속도는 무엇인가?
• RQ2 LSTD(λ)의 오차 경계는 λ 선택, 선형 근사의 품질, 표본 수에 따라 어떻게 달라지는가?
• RQ3 λ = 0 인 고확률 오차 경계를 λ > 0 으로 확장할 수 있으며, 만약 가능하면 그 비교는 어떻게 되는가?
• RQ4 λ 가 제어하는 근사 오차와 추정 오차 사이의 최적의 트레이드오프는 무엇인가?
• RQ5 마르코프 체인의 혼합 시간은 LSTD(λ) 의 수렴 속도에 어떻게 영향을 미치는가?

주요 결과

• β-혼합 조건 하에서 λ ∈ (0,1) 일 때 LSTD(λ) 는 그 한계로 Õ(1/√n) 의 속도로 수렴한다.
• LSTD(λ) 의 고확률 오차 경계는 Õ(1/√n) 의 형태이며, λ = 0 인 경우의 경계를 확장하고 약간 향상시킨다.
• λ 의 선택은 근사 오차(프로젝션 유형을 통해)와 추정 오차(분산 제어를 통해) 사이의 트레이드오프에 영향을 준다.
• 분석 결과, λ 를 증가시키면 비수직 투영에서 수직 투영으로의 이동을 통해 근사 오차를 감소시키므로 근사 품질이 향상됨을 보여준다.
• 경계는 혼합 계수 β 와 특징 공간 차원 d 에 의존하며, log(1/δ) 와 혼합 시간에 명시적인 의존성이 있다.
• 최적의 λ 는 근사 오차(λ 증가에 따라 감소)와 추정 오차(λ 증가에 따라 증가) 사이의 균형을 맞추며, 이 경계는 이러한 트레이드오프를 정량화한다.