[논문 리뷰] Effective Multi-step Temporal-Difference Learning for Non-Linear Function Approximation

Harm van Seijen|arXiv (Cornell University)|2016. 08. 18.

Domain Adaptation and Few-Shot Learning참고 문헌 12인용 수 13

한 줄 요약

이 논문은 비선형 함수 근사에 적합한 새로운 다단계 시간차 학습 방법인 포워드 TD(λ)를 제안한다. 이 방법은 포워드 뷰에서 유도된 기울기 하강 기반 업데이트 규칙을 정확히 구현하여 기존의 TD(λ)에서 흔히 발생하는 불안정성과 발산을 피한다. 실험적으로, 신경망을 사용한 벤치마크 제어 과제에서 포워드 TD(λ)는 Sarsa(λ)를 능가하며, 지연된 업데이트에도 불구하고 더 뛰어난 샘플 효율성과 안정성을 확보한다.

ABSTRACT

Multi-step temporal-difference (TD) learning, where the update targets contain information from multiple time steps ahead, is one of the most popular forms of TD learning for linear function approximation. The reason is that multi-step methods often yield substantially better performance than their single-step counter-parts, due to a lower bias of the update targets. For non-linear function approximation, however, single-step methods appear to be the norm. Part of the reason could be that on many domains the popular multi-step methods TD($λ$) and Sarsa($λ$) do not perform well when combined with non-linear function approximation. In particular, they are very susceptible to divergence of value estimates. In this paper, we identify the reason behind this. Furthermore, based on our analysis, we propose a new multi-step TD method for non-linear function approximation that addresses this issue. We confirm the effectiveness of our method using two benchmark tasks with neural networks as function approximation.

연구 동기 및 목표

• 비선형 함수 근사에서 전통적인 TD(λ)와 Sarsa(λ)가 실패하는 이유를 규명하는 것, 특히 불안정성과 가치 발산으로 인한 원인을 밝히는 것.
• 다단계 TD 학습에서 발생하는 불안정성의 근본 원인을 규명하는 것, 이는 진정한 기울기 하강 업데이트 규칙에서의 이탈에서 기인한다.
• 비용이 많이 드는 포워드 뷰의 대안으로서 계산적으로 효율적인, 정확한 업데이트 규칙을 구현하는 알고리즘을 개발하는 것.
• 새로운 방법에서 발생하는 업데이트 지연이 성능에 악영향을 주지 않으며, 오히려 비선형 환경에서 학습을 향상시킬 수 있는지 확인하는 것.
• 신경망을 함수 근사기로 사용하여 표준 제어 벤치마크에서 방법을 검증하는 것.

제안 방법

• 포워드 뷰의 기울기 하강 업데이트 규칙을 정확히 구현하는 새로운 알고리즘인 포워드 TD(λ)를 제안하여 이론적으로 정확한 업데이트를 보장한다.
• 계산 효율성을 유지하기 위해 지연된 업데이트 메커니즘을 사용하며, 업데이트 시점은 각 에피소드의 끝 또는 유인 트레이스 기반으로 동기화된다.
• 각 상태-행동 쌍이 업데이트에 기여하는 바를 추적하는 수정된 유인 트레이스 메커니즘을 도입하여 진정한 시간차 업데이트와의 일致성을 확보한다.
• 값 함수 업데이트에 고정된 작은 값 η를 사용하는 학습률 스케줄을 도입하여 학습 중 안정성을 확보한다.
• 행동-가치 추정을 위해 각 행동마다 하나의 신경망을 사용하고, ε-그리디 탐색을 적용하여 제어 과제에 방법을 적응시킨다.
• 비선형 특징을 갖는 파rameterized 값 함수를 사용하여 연속적이거나 큰 상태 공간에서의 상태와 행동 간 일반화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 비선형 함수 근사에서 TD(λ)가 선형 설정에서는 성공했지만 수렴하지 못하거나 발산하는 이유는 무엇인가?
• RQ2 기존의 TD(λ) 알고리즘에서 비선형 함수 근사에서 발생하는 불안정성과 분산 증가의 원인은 무엇인가?
• RQ3 비용이 많이 들지 않는 계산 효율적인 알고리즘을 설계하여 포워드 뷰에서 유도된 정확한 기울기 하강 업데이트 규칙을 구현할 수 있는가?
• RQ4 새로운 방법에서 발생하는 업데이트 지연이 학습 성능에 악영향을 주는가, 아니면 비선형 환경에서 안정성을 향상시킬 수 있는가?
• RQ5 표준 제어 벤치마크에서 Sarsa(λ)와 비교해 본다면, 제안된 방법은 샘플 효율성과 최종 성능 측면에서 어떤가?

주요 결과

• 마운틴 카 제어 과제에서 포워드 TD(λ)는 λ = 1.0를 제외한 모든 λ 값에서 Sarsa(λ)를 뛰어넘는 평균 수익을 달성한다.
• 카트폴 벤치마크에서는 포워드 Sarsa(λ)가 λ ≈ 0.6에서 최적 성능을 내며, Sarsa(λ)는 높은 λ 값에서 성능이 떨어지므로 더 뛰어난 강건성을 보인다.
• 마운틴 카 과제에서 포워드 TD(λ)는 Sarsa(λ)보다 빠르게 RMS 오차를 감소시키며, λ = 0.9일 때 첫 50 에피소드 내에 정규화 오차가 50% 이상 감소한다.
• 높은 λ 값에서도 포워드 TD(λ)는 안정성을 유지하며, 비선형 함수 근사에서 흔히 발생하는 가치 발산을 피한다.
• 지연된 업데이트에도 불구하고 포워드 TD(λ)는 Sarsa(λ)보다 더 뛰어난 샘플 효율성과 낮은 분산을 확보하여, 지연이 비선형 환경에서 정규화 효과를 가질 수 있음을 시사한다.
• 포워드 TD(λ)의 계산 복잡도는 TD(0)와 동일하여, 대규모 비선형 문제에 실용적으로 적용 가능하며, 비용이 많이 드는 λ-리턴 알고리즘과는 달리 효율적이다.