[논문 리뷰] Adaptive Temporal-Difference Learning for Policy Evaluation with Per-State Uncertainty Estimates

Carlos Riquelme, Hugo Penedones외 6명|arXiv (Cornell University)|2019. 01. 01.

Reinforcement Learning in Robotics인용 수 6

한 줄 요약

이 논문은 상태별로 학습된 신뢰구간을 사용하여 편향을 탐지함으로써, 각 상태에서 TD와 몽테카를로(MC) 업데이트 간을 동적으로 선택하는 적응형 시간차(TD) 학습 방법을 제안한다. 추정된 불확실성에 기반해 두 방법을 전환함으로써 오차 전파를 줄이고, 여러 정책 평가 작업에서 사후적으로 가장 좋은 선택과 경쟁 가능한 성능을 달성한다.

ABSTRACT

We consider the core reinforcement-learning problem of on-policy value function approximation from a batch of trajectory data, and focus on various issues of Temporal Difference (TD) learning and Monte Carlo (MC) policy evaluation. The two methods are known to achieve complementary bias-variance trade-off properties, with TD tending to achieve lower variance but potentially higher bias. In this paper, we argue that the larger bias of TD can be a result of the amplification of local approximation errors. We address this by proposing an algorithm that adaptively switches between TD and MC in each state, thus mitigating the propagation of errors. Our method is based on learned confidence intervals that detect biases of TD estimates. We demonstrate in a variety of policy evaluation tasks that this simple adaptive algorithm performs competitively with the best approach in hindsight, suggesting that learned confidence intervals are a powerful technique for adapting policy evaluation to use TD or MC returns in a data-driven way.

연구 동기 및 목표

• 배치 경로 데이터를 사용한 온정책 가치 함수 근사에서의 편향-분산 트레이드오��� 문제를 해결하기 위해.
• 국소적 근사 오차로 인한 TD 학습의 오차 전파를 줄이기 위해.
• 불확실성에 기반해 각 상태에서 TD와 MC 업데이트 간의 선택을 데이터 기반으로 개발하기 위해.
• TD와 MC 방법의 강점을 적응적으로 활용하여 정책 평가 성능을 향상시키기 위해.
• 학습된 신뢰구간이 실제로 TD 수익과 MC 수익 간의 선택을 효과적으로 이끌 수 있는지 입증하기 위해.

제안 방법

• 이 방법은 각 상태에서 TD 가치 함수 추정치의 편향을 추정하기 위해 학습된 신뢰구간을 사용한다.
• TD 추정치가 학습된 신뢰구간 외부에 있을 경우, TD와 MC 업데이트 간에 적응적으로 전환한다.
• 신뢰구간은 신경망을 사용해 TD 추정치의 불확실성을 예측하도록 훈련된다.
• 알고리즘은 오프라인 경로 데이터를 사용하는 배치 설정에서 작동한다.
• 스위치 결정은 각 상태별로 이루어져 국소적 오차 특성에 적응할 수 있다.
• 각 상태에서 기대 오차가 낮은 방법을 선택함으로써, TD의 낮은 분산 성질과 MC의 낮은 편향 성질을 조합한다.

실험 결과

연구 질문

• RQ1 학습된 신뢰구간이 TD 가치 추정치의 편향을 효과적으로 탐지할 수 있는가?
• RQ2 TD와 MC 간의 적응형 전환은 고정된 방법에 비해 정책 평가 성능을 향상시키는가?
• RQ3 사후적으로 TD와 MC 중 최상의 선택과 경쟁 가능한 성능을 달성할 수 있는가?
• RQ4 다양한 수준의 근사 오차를 가진 다양한 정책 평가 작업에서 이 방법의 성능은 어떠한가?
• RQ5 불확실성 기반 전환이 가치 함수 학습에서 오차 전파에 어떤 영향을 미치는가?

주요 결과

• 적응형 알고리즘은 여러 작업에서 사후적으로 가장 좋은 선택과 경쟁 가능한 성능을 달성한다.
• 학습된 신뢰구간의 사용은 편향된 TD 추정치의 효과적인 탐지와 정보 기반의 전환 결정을 가능하게 한다.
• TD 추정치가 신뢰할 수 없을 경우 MC로 전환함으로써 국소적 근사 오차의 전파를 줄인다.
• 알고리즘은 다양한 정책 평가 환경에서 강건한 성능을 보이며, 고정된 TD 및 MC 기준선을 능가한다.
• 결과는 불확실성 인식 기반의 적응이 편향과 분산을 균형 잡는 데 있어 가치 함수 근사 향상에 크게 기여함을 시사한다.
• 데이터 기반의 신뢰구간 기반 전환은 정책 평가에 있어 강력한 기법임을 보여준다.