[논문 리뷰] Should one compute the Temporal Difference fix point or minimize the Bellman Residual? The unified oblique projection view

Bruno Scherrer|arXiv (Cornell University)|2010. 11. 19.

Reinforcement Learning in Robotics참고 문헌 14인용 수 44

한 줄 요약

이 논문은 마르코프 결정 과정(Markov Decision Processes)의 선형 가치 함수 근사에서 시간차분(TD) 고정점 계산과 벨만 잔여물(Bellman Residual, BR) 최소화를 통합적으로 기술하는 기울어진 투영 프레임워크를 제안한다. BR 최소화는 성능 보장을 제공하고 수치적으로 더 안정적이지만, TD(0)는 종종 더 나은 해를 도출하지만 불안정성으로 인해 평균적으로 BR가 열등하지 않다.

ABSTRACT

We investigate projection methods, for evaluating a linear approximation of the value function of a policy in a Markov Decision Process context. We consider two popular approaches, the one-step Temporal Difference fix-point computation (TD(0)) and the Bellman Residual (BR) minimization. We describe examples, where each method outperforms the other. We highlight a simple relation between the objective function they minimize, and show that while BR enjoys a performance guarantee, TD(0) does not in general. We then propose a unified view in terms of oblique projections of the Bellman equation, which substantially simplifies and extends the characterization of (schoknecht,2002) and the recent analysis of (Yu & Bertsekas, 2008). Eventually, we describe some simulations that suggest that if the TD(0) solution is usually slightly better than the BR solution, its inherent numerical instability makes it very bad in some cases, and thus worse on average.

연구 동기 및 목표

• TD(0) 고정점 계산과 벨만 잔여물(Bellman Residual, BR) 최소화의 성능 및 안정성을 선형 가치 함수 근사에서 비교하기.
• 벨만 방정식에 대한 기울어진 투영을 사용하여 두 방법의 기하학적 통합 해석을 제공하기.
• 각 방법의 이론적 보장과 수치적 행동, 특히 오차 한계와 안정성 측면에서 분석하기.
• 모의 실험을 통해 상대적 성능과 강건성에 기반한 TD(0)와 BR 간 실용적 선택을 안내하기.
• Schoknecht(2002)와 Yu & Bertsekas(2008)의 이전 연구를 단순화하고 일반화하여 두 방법의 특성화를 개선하기.

제안 방법

• TD(0)와 BR를 상태 분포 $\xi$에 의해 유도되는 가중 거리(norm)를 사용한 진짜 가치 함수 $v$의 특성 하위공간 $\text{span}(\Phi)$ 위로의 기울어진 투영으로 공식화한다.
• 두 방법이 모두 동일한 투영된 고정점 방정식을 해결함을 보여주며, 서로 다른 투영 방향에서 $v$의 기울어진 투영에 해당함을 유도한다.
• 벨만 잔여물 최소화가 TD 오차 최소화에 더해진 '적합성' 항을 최소화하는 것과 동치임을 보여주는 핵심 관계를 도입한다. 이 항은 수치적 안정성에 영향을 준다.
• 보어민트 3(Proposition 3)에서 보다 날카운 오차 한계를 확립하여, 보상 함수에 무관하게 두 방법 모두에 적용 가능하게 하여 이론적 비교를 가능하게 한다.
• 최대 30개 상태를 가진 랜덤 체인 형태의 MDP에서의 시뮬레이션을 통해, 다양한 특성 공간 차원에서 TD(0)와 BR의 평균 성능, 상대 오차, 수치적 안정성을 비교한다.
• 특히 표본 기반 추정에서 두 방법의 분산과 수렴 행동을 분석하며, 이중 표본 추출으로 인한 BR의 높은 계산 비용을 강조한다.

실험 결과

연구 질문

• RQ1 언제 BR이 값 함수 근사에서 TD(0)를 초월하고, 반대로 언제 TD(0)가 BR을 능가하는가?
• RQ2 TD(0)와 BR가 최소화하는 목적 함수 간의 이론적 관계는 무엇이며, 이는 각 방법의 수치적 안정성에 어떤 영향을 미치는가?
• RQ3 TD(0)와 BR 모두 기울어진 투영으로 벨만 방정식을 기술할 수 있는가? 만약 그렇다면, 이는 두 방법의 분석을 어떻게 통합하는가?
• RQ4 BR 최소화는 TD(0)가 갖지 못하는 성능 보장을 제공하는가? 그리고 이는 실용적 선택에 어떤 영향을 미치는가?
• RQ5 제안된 통합된 기울어진 투영 프레임워크는 사전에 근사 방법의 선택을 향상시키거나, 새로운 알고리즘 설계를 안내하는 데 기여할 수 있는가?

주요 결과

• BR 최소화는 오차 한계 측면에서 성능 보장을 제공하지만, 일반적으로 TD(0)는 그러한 한계가 없어 보장하지 못한다.
• TD(0) 해는 평균적으로 BR 해보다 약간 더 정확한 편이지만, 수치적 불안정성이 심해 가끔 치명적인 실패를 겪는다.
• 모의 실험 결과, TD(0)는 평균 상대 오차 $e_{TD}/e$가 낮지만 성능의 분산이 높아 불안정한 반면, BR의 오차 $e_{BR}/e$는 더 매끄럽고 일관성 있다.
• BR 목적 함수에 추가된 '적합성' 항이 TD 오차를 제한함으로써 수치적 안정성에 결정적인 역할을 하며, 이는 BR의 강건성을 설명한다.
• 이중 표본 추출으로 인한 추정의 높은 분산에도 불구하고, BR의 전반적인 평균 성능은 수치적 안정성의 우월성 덕분에 TD(0)를 뛰어넘는다.
• 제안된 기울어진 투영 프레임워크는 Schoknecht(2002)와 Yu & Bertsekas(2008)의 이전 연구를 단순화하고 확장하여 두 방법의 기하학적 통합과 더 날카운 오차 한계를 제공한다.