[논문 리뷰] Investigating practical linear temporal difference learning

Adam White, Martha White|arXiv (Cornell University)|2016. 02. 28.

Adaptive Dynamic Programming Control참고 문헌 12인용 수 16

한 줄 요약

이 논문은 기존의 TD 학습의 효율성과 오프-폴리시 설정에서의 기울기-TD 방법의 안정성을 결합하기 위해 설계된 하이브리드 시간차(TD) 학습 알고리즘—GTD(λ), PTD, HTD, TO-HTD—을 제안하고 실증적으로 평가한다. 주요 발견은 계산 비용이 중요한 경우, GTD(λ)와 TO-GTD(λ)가 오프-폴리시 샘플링에 가장 강인하며, TO-ETD(λ,β)는 전반적으로 가장 우수한 성능을 보이지만 높은 분산과 파rameter 민감도를 보인다는 것이다.

ABSTRACT

Off-policy reinforcement learning has many applications including: learning from demonstration, learning multiple goal seeking policies in parallel, and representing predictive knowledge. Recently there has been an proliferation of new policy-evaluation algorithms that fill a longstanding algorithmic void in reinforcement learning: combining robustness to off-policy sampling, function approximation, linear complexity, and temporal difference (TD) updates. This paper contains two main contributions. First, we derive two new hybrid TD policy-evaluation algorithms, which fill a gap in this collection of algorithms. Second, we perform an empirical comparison to elicit which of these new linear TD methods should be preferred in different situations, and make concrete suggestions about practical use.

연구 동기 및 목표

• 함수 근사와 함께 오프-폴리시 시간차 학습에서 안정적이고 선형 복잡도의 가치 함수 근사를 달성하는 데 오랫동안 지속된 과제를 해결하기 위해.
• 온-폴리시 효율성(예: TD(λ))과 오프-폴리시 안정성(예: 기울기-TD 방법) 사이의 격차를 메우기 위해, 오프-폴리시 샘플링에 기반해 업데이트를 적응적으로 보정하는 하이브리드 TD 알고리즘을 도입하기 위해.
• 다양한 환경, 특히 Baird의 반례와 같은 도전적인 오프-폴리시 도메인을 포함하여, 새로운 및 기존의 선형 오프-폴리시 TD 방법의 성능을 실증적으로 비교하기 위해.
• 수렴성, 분산, 계산 비용을 고려한 실용적 알고리즘 선택 권장 사항을 제공하기 위해.

제안 방법

• GTD(λ), PTD, HTD, TO-HTD를 하이브리드 TD 알고리즘으로 제안하며, 온-폴리시 설정에서는 표준 TD 업데이트를, 오프-폴리시 설정에서는 기울기-TD 스타일 보정을 사용한다.
• 시간적 신뢰도 할당을 향상시키면서도 안정성을 유지하기 위해 하이브리드 프레임워크에 유예 추적(λ)을 통합한다.
• 특히 Emphatic TD(ETD) 및 그 변종에서 오프-폴리시 발산을 방지하기 위해 중요도 샘플링과 후속 분포 보정을 사용한다.
• 평균 제곱 프로젝션 벨만 오차(MSPBE)를 최소화하기 위해 미러-프록스 방법을 적응시켜, 유한 샘플 수렴 보장을 갖는 GTD2-mp 및 TDC-mp 알고리즘을 도출한다.
• 앞서보기와 뒤에서보기 TD 업데이트 간의 불일치를 보정하기 위해 진정된 온라인 변형(TO-TD, TO-GTD)을 구현하여, 온-폴리시 설정에서의 수렴성을 향상시킨다.
• 계속되는 할인된 작업에서 모든 상태에 대해 값이 1.0인 상태 기반 관심 함수를 사용하며, 이는 원래 ETD 작업에서 권장된 바이다.

실험 결과

연구 질문

• RQ1 하이브리드 TD 방법(HTD, GTD(λ), PTD)이 오프-폴리시 샘플링 하에서 수렴 속도와 안정성 측면에서 기존의 TD(λ) 및 기울기-TD 방법과 어떻게 비교되는가?
• RQ2 유예 추적(λ)의 포함이 오프-폴리시 설정에서 성능을 향상시키는가, 아니면 분산과 불안정성을 악화시키는가?
• RQ3 미러-프록스 기반 방법(GTD2-mp, TDC-mp)은 Baird의 반례와 같은 도전적인 도메인에서 표준 TD 및 기울기-TD 방법과 비교해 어떻게 성능을 내는가?
• RQ4 emphatic TD(ETD)의 파rameter β는 오프-폴리시 도메인에서 성능과 분산에 어떤 영향을 미치는가?
• RQ5 실용적인 오프-폴리시 학습 시나리오에서 수렴성, 분산, 파rameter 민감도, 계산 비용 간의 최적의 트레이드오프를 제공하는 알고리즘은 무엇인가?

주요 결과

• GTD(λ)와 TO-GTD(λ)는 계산 비용이 중요한 경우 오프-폴리시 샘플링에 대해 다른 방법들보다 더 강인하며, 특히 GTD(λ)가 계산 비용 제약 하에서 선호된다.
• 온-폴리시 설정에서는 GTD(λ)가 TD(λ), PTD, HTD보다 더 빠른 학습과 더 나은 파rameter 민감도를 보였으며, 이는 이러한 설정에서 TD(λ)가 우월하다는 가정을 도전한다.
• 미러-프록스 방법(GTD2-mp 및 TDC-mp)은 Baird의 반례에서만 최고의 성능을 보였고, 다른 오프-폴리시 도메인에서는 높은 분산과 열악한 성능을 보였으며, 특히 λ > 0일 경우 더욱 심각했다.
• 유예 추적(λ)은 Baird의 극단적인 오프-폴리시 도메인에서는 거의 효과가 없었으며, 오직 λ가 0에 가까울 때에만 신뢰할 수 있는 오차 감소가 발생했다.
• TO-ETD(λ,β)는 대부분의 도메인에서 전반적인 성능이 가장 좋았지만, 높은 분산과 날카로운 파arameter 민감도를 보였으며, 특히 이진 특징 설정에서 두드러졌다.
• HTD(λ)와 TO-HTD(λ)는 Baird의 반례에서 발산하지 않았지만 만족스럽지 못한 성능를 보였으며, 이는 매우 오프-폴리시 설정에서의 효과성이 제한적임을 시사한다.