[논문 리뷰] Reinforcement Learning From State and Temporal Differences

Lex Weaver, Jonathan Baxter|ArXiv.org|2025. 12. 09.

Reinforcement Learning in Robotics참고 문헌 23인용 수 7

한 줄 요약

본 논문은 정책 순서를 개선하기 위해 상대 상태 값으로 훈련되는 TD(λ)의 수정 버전인 STD(λ)를 소개하며, 이론적 보장과 간단한 두·세 상태 문제, 백개먼(backgammon), 그리고 acrobot 유사 과제에서의 실험적 시연을 제시한다.

ABSTRACT

TD($λ$) with function approximation has proved empirically successful for some complex reinforcement learning problems. For linear approximation, TD($λ$) has been shown to minimise the squared error between the approximate value of each state and the true value. However, as far as policy is concerned, it is error in the relative ordering of states that is critical, rather than error in the state values. We illustrate this point, both in simple two-state and three-state systems in which TD($λ$)--starting from an optimal policy--converges to a sub-optimal policy, and also in backgammon. We then present a modified form of TD($λ$), called STD($λ$), in which function approximators are trained with respect to relative state values on binary decision problems. A theoretical analysis, including a proof of monotonic policy improvement for STD($λ$) in the context of the two-state system, is presented, along with a comparison with Bertsekas' differential training method [1]. This is followed by successful demonstrations of STD($λ$) on the two-state system and a variation on the well known acrobot problem.

연구 동기 및 목표

• 함수 근사 하에서 정책 품질이 절대값 정확도보다 상태 가치의 순서에 더 의존한다는 점을 동기 부여한다.
• 결정 문제에 대한 상대 상태 값을 기반으로 하는 학습 목표로 STD(λ)를 제안한다.
• 두 상태 설정에서 STD(λ)에 대한 단조로운 정책 향상을 보이는 이론적 분석을 제공한다.
• 두 상태, 세 상태 시스템, 백개먼, 그리고 acrobot 유사 문제에서 STD(λ)를 경험적으로 입증한다.

제안 방법

• STD(λ)를 이진 결정 문제에서 상대 상태 값을 기준으로 함수 근사기를 학습시키는 TD(λ)의 변형으로 도입한다.
• 두 상태 사례에 대한 단조로운 정책 개선 증명을 포함한 이론 분석을 제시한다.
• Bertsekas의 차등 훈련 방법과 STD(λ)를 비교한다.
• 두 상태 시스템, 세 상태 시스템, 백개먼 유사 시나리오, 그리고 acrobot 변형에서 STD(λ)의 실증 시연을 제공한다.

실험 결과

연구 질문

• RQ1 상대 상태 가치 훈련이 TD 기반 방법에서 단조로운 정책 개선으로 이어질 수 있는가?
• RQ2 간단한 상태 기계와 고전 RL 벤치마크에서 STD(λ)가 표준 TD(λ)와 어떻게 비교되는가?
• RQ3 상태 순서가 성능을 좌우하는 문제에서 STD(λ)가 더 나은 정책 품질을 제공하는가?
• RQ4 STD(λ)가 Bertsekas의 차등 훈련과 어떤 관련이 있으며 상대적으로 어떤 성능을 보이는가?
• RQ5 acrobot 변형 및 소규모 결정 문제와 같은 표준 제어 작업에서 경험적 이점이 관찰되는가?

주요 결과

• STD(λ)는 상대 상태 값을 기준으로 학습하여 절대값 오차보다 정책 순서를 다룬다.
• 제시된 분석에 따라 두 상태 시스템에서 STD(λ)가 단조로운 정책 개선을 달성한다.
• STD(λ)는 TD(λ)와 비교했을 때 바람직한 동작을 보이며 이론적으로 차등 훈련 아이디어와 일치한다.
• 실험적 시연은 STD(λ)가 두 상태 시스템, 세 상태 시스템, 백개먼 유사 시나리오, 그리고 acrobot 변형에 이점을 보임을 보여준다.