[논문 리뷰] Accelerated Gradient Temporal Difference Learning

Yangchen Pan, Adam White외 1명|arXiv (Cornell University)|2016. 11. 28.

Optimal Power Flow Distribution참고 문헌 23인용 수 14

한 줄 요약

이 논문은 데이터 효율성이 최소제곱 TD(LSTD)와 유사하면서도 선형 계산 및 저장 비용을 유지하면서도, 하위제곱 복잡도를 갖는 새로운 TD 학습 알고리즘인 가속 경사 하강(Temporal Difference, ATD)을 소개한다. ATD는 평균 제곱 프로젝션 벨만 오차(MSPBE)의 헤시안 행렬의 근사치를 사용해 경사 하강을 가속화하는 쿼asi-뉴턴 전처리 행렬을 사용하며, 수렴 속도를 높이고 선형 TD 방법에 비해 하이퍼파rameter에 대한 민감도를 크게 감소시킨다. 이로 인해 점근적으로 편향이 없는 성질을 확보한다.

ABSTRACT

The family of temporal difference (TD) methods span a spectrum from computationally frugal linear methods like TD(λ) to data efficient least squares methods. Least square methods make the best use of available data directly computing the TD solution and thus do not require tuning a typically highly sensitive learning rate parameter, but require quadratic computation and storage. Recent algorithmic developments have yielded several sub-quadratic methods that use an approximation to the least squares TD solution, but incur bias. In this paper, we propose a new family of accelerated gradient TD (ATD) methods that (1) provide similar data efficiency benefits to least-squares methods, at a fraction of the computation and storage (2) significantly reduce parameter sensitivity compared to linear TD methods, and (3) are asymptotically unbiased. We illustrate these claims with a proof of convergence in expectation and experiments on several benchmark domains and a large-scale industrial energy allocation domain.

연구 동기 및 목표

• 시간 차분 학습에서 계산 효율성과 데이터 효율성 사이의 상충 관계를 해결한다.
• 최소제곱 TD(LSTD)의 데이터 효율성을 유지하면서도 제곱 복잡도를 요구하지 않는 방법을 개발한다.
• 선형 TD 방법에서 흔히 관찰되는 학습률과 같은 하이퍼파rameter에 대한 민감도를 줄인다.
• 이전의 많은 하위제곱 방법들과 달리, 하위제곱 근사에서 점근적으로 편향이 없는 성질을 확보한다.
• 대규모 및 고차원 문제에 대해 실시간, 완전히 인크리멘탈(incremental) 정책 평가를 가능하게 한다.

제안 방법

• 평균 제곱 프로젝션 벨만 오차(MSPBE)의 헤시안 행렬 근사치를 사용해 TD 업데이트를 전처리하는 쿼asi-뉴턴 스타일의 확률적 경사 하강법인 가속 경사 하강 TD(ATD)를 제안한다.
• 전처리 행렬의 저랭크 근사를 사용해 하위제곱 계산 및 저장 복잡도를 유지한다.
• 전처리 행렬이 TD 고정점으로의 수렴 속도를 가속화하는 수정된 경사 하강 스텝으로 업데이트를 공식화한다.
• 저랭크 근사가 적용된 상황에서도 진정한 TD 해로의 기대값 수렴을 증명한다.
• 온라인 및 실시간 학습에 적합한 인크리멘탈 업데이트 규칙에 전처리 행렬을 통합한다.
• 근사의 랭크가 1이어도 성능이 일관되고 편향이 없는 것으로 입증된다.

실험 결과

연구 질문

• RQ1 하위제곱 복잡도를 갖는 TD 방법이 제곱 복잡도 없이 LSTD와 유사한 데이터 효율성을 달성할 수 있는가?
• RQ2 표준 선형 TD 방법에 비해 전처리된 경사 하강 업데이트를 사용할 경우 학습률과 같은 하이퍼파rameter 민감도가 감소하는가?
• RQ3 전처리 행렬의 저랭크 근사가 가치 함수 추정에서 점근적으로 편향이 없는 성질을 유지할 수 있는가?
• RQ4 tLSTD, iLSTD, 그리고 랜덤 프로젝션 LSTD와 같은 기존 하위제곱 방법과 비교해 ATD는 성능 및 강건성 면에서 어떻게 다른가?
• RQ5 고차원 또는 노이즈가 많은 특징 공간에서 ATD는 빠른 수렴과 낮은 오차를 유지할 수 있는가?

주요 결과

• ATD는 LSTD와 동일한 데이터 효율성을 확보하면서도 훨씬 낮은 계산 및 저장 비용을 요구하여 벤치마크 도메인에서 초기 학습 속도가 빠르게 나타난다.
• 선형 TD 방법이 광범위한 하이퍼파ram터 튜닝이 필요한 것과 달리, ATD는 정규화 파rameter에 대해 매우 낮은 민감도를 보인다.
• tLSTD 및 기타 하위제곱 방법들이 편향을 유발하는 것과 달리, ATD는 전처리 행렬의 랭크가 1일 때조차도 점근적으로 편향이 없다.
• 8192차원 특징을 가진 대규모 산업용 에너지 할당 도메인에서, ATD는 낮은 랭크 설정(r=40)에서도 tLSTD를 능가하며 뛰어난 강건성과 효율성을 보였다.
• 100개의 추가 랜덤 특징이 있는 마운틴 카(Mountain Car)와 같은 노이즈가 많은 특징 환경에서, ATD는 저랭크 근사를 통해 신뢰할 수 없는 특징을 효과적으로 무시하고 강력한 성능을 유지했다.
• 선형 방법들이 높은 튜닝 노력이 필요한 것과 달리, ATD는 진정한 온라인 TD(λ) 및 ETD(λ)와 유사한 성능을 달성했으며, 광범위한 파rameter 스윕을 요구하지 않았다.