[논문 리뷰] Adaptive Lambda Least-Squares Temporal Difference Learning

Timothy Mann, Hugo Penedones외 2명|arXiv (Cornell University)|2016. 12. 30.

Reinforcement Learning in Robotics참고 문헌 11인용 수 9

한 줄 요약

이 논문은 LSTD($λ$)에서 $λ$ 초모수를 효율적으로 튜닝하기 위해 이중적 이차오차 최소화(LOTO-CV)를 구현한 파라미터 없는 알고리즘인 적응형 $λ$ 최소제곱 시간차 학습(ALLSTD)을 제안한다. $O(kn)$ 평가에서 $O(k)$ 평가로 계산 비용을 감소시킴으로써, ALLSTD는 낮은 평균제곱가치오차(MSVE) 성능을 거의 최적에 가깝게 달성하면서도 난이도 높은 LOTO-CV보다 훨씬 빠르게 동작하여 실세계 강화학습 응용에 있어 자동 $λ$ 선택을 실현 가능하게 한다.

ABSTRACT

Temporal Difference learning or TD($λ$) is a fundamental algorithm in the field of reinforcement learning. However, setting TD's $λ$ parameter, which controls the timescale of TD updates, is generally left up to the practitioner. We formalize the $λ$ selection problem as a bias-variance trade-off where the solution is the value of $λ$ that leads to the smallest Mean Squared Value Error (MSVE). To solve this trade-off we suggest applying Leave-One-Trajectory-Out Cross-Validation (LOTO-CV) to search the space of $λ$ values. Unfortunately, this approach is too computationally expensive for most practical applications. For Least Squares TD (LSTD) we show that LOTO-CV can be implemented efficiently to automatically tune $λ$ and apply function optimization methods to efficiently search the space of $λ$ values. The resulting algorithm, ALLSTD, is parameter free and our experiments demonstrate that ALLSTD is significantly computationally faster than the naïve LOTO-CV implementation while achieving similar performance.

연구 동기 및 목표

• MSVE를 최소화하는 $λ$ 선택 문제를 수식화함으로써, 이를 편향-분산 트레이드오프로 프레임워크화한다.
• 수동 튜닝을 피하고 추정 오차를 줄이는 데이터 기반의 $λ$ 선택 방법을 개발한다.
• 나이브한 구현 방식이 비용이 너무 많이 들기 때문에, LSTD($λ$) 프레임워크 내에서 LOTO-CV를 효율적으로 계산할 수 있도록 한다.
• 다양한 환경에서 MSVE를 최소화하는 데에 자동으로 $λ$를 선택하는 파라미터 없는 알고리즘을 설계한다.
• 수동으로 튜닝된 $λ$ 값의 성능을 근사하거나 초월하면서도 계산 비용이 낮은 ALLSTD 알고리즘이 성능을 보임을 입증한다.

제안 방법

• $λ$ 선택 문제를 MSVE 최소화로 수식화하고, 이를 편향-분산 트레이드오프로 간주한다.
• 다양한 $λ$ 값에 대해 MSVE를 추정하기 위해 이중적 이차오차 최소화(LOTO-CV)를 제안한다.
• 행렬의 구조를 활용하여 LSTD($λ$)에 대한 LOTO-CV를 효율적으로 계산하는 알고리즘을 유도함으로써, 복잡도를 $O(kn)$ 에서 $O(k)$ 로 감소시킨다.
• 효율적인 LOTO-CV를 함수 최적화와 통합하여 이산적인 $λ$ 값 집합에서 탐색한다.
• 모든 수동 튜닝이나 추가 초모수 없이 자동으로 $λ$를 선택하는 파라미터 없는 알고리즘으로 ALLSTD를 구현한다.
• ALLSTD가 표준 LSTD 가정 하에 최적의 가설로 수렴함을 증명한다.

실험 결과

연구 질문

• RQ1 데이터 기반의 교차검증을 통해 가치함수 추정에서 MSVE를 최소화하는 데에 $λ$를 자동으로 선택할 수 있는가?
• RQ2 나이브한 접근 방식의 $O(kn)$ 비용을 피하기 위해 LSTD($λ$) 프레임워크 내에서 LOTO-CV를 효율적으로 구현할 수 있는가?
• RQ3 다양한 환경에서 ALLSTD의 성능은 수동 튜닝된 $λ$ 값의 MSVE와 비교해 어떻게 되는가?
• RQ4 나이브한 LOTO-CV 구현보다 훨씬 빠르면서도 거의 최적의 MSVE를 달성할 수 있는가?
• RQ5 특징 표현의 품질과 트레이젝터리 수가 다양한 환경에서도 ALLSTD는 강건성을 유지하는가?

주요 결과

• ALLSTD는 그라이드월드, 랜덤워크, 마운틴카를 포함한 모든 평가된 도메인에서 수동 튜닝된 최적의 $λ$ 값과 유사한 MSVE 성능을 달성한다.
• 랜덤워크 도메인에서, 조그만 수의 트레이젝터리로도 ALLSTD는 잘못 튜닝된 $λ$ 값보다 MSVE를 크게 감소시킨다.
• 특징이 열악한 마운틴카 도메인에서는 $λ=1$ 이 오차를 최소화하며, ALLSTD는 이 최적의 값을 성공적으로 식별한다.
• ALLSTD는 LSTD에 대한 평가 횟수를 $O(kn)$ 에서 $O(k)$ 로 줄여 계산 비용을 크게 감소시켰으며, 이로 인해 난이도 높은 LOTO-CV보다 훨씬 더 신속하게 실행된다.
• ALLSTD는 수동 튜닝된 $λ$를 사용한 RLSTD나 LSTD와 같은 최첨단 방법의 성능을 근사하거나 초월하면서도 파라미터가 없고 확장성이 뛰어나다.
• 다양한 환경에서 일관된 성능을 보이며, 실세계 강화학습 응용에 있어 강건성과 실용성을 확인한다.