[論文レビュー] Should one compute the Temporal Difference fix point or minimize the Bellman Residual? The unified oblique projection view

Bruno Scherrer|arXiv (Cornell University)|Nov 19, 2010

Reinforcement Learning in Robotics参考文献 14被引用数 44

ひとこと要約

本稿は、マルコフ決定過程における線形価値関数近似において、時系列差分（TD）固定点計算とベルマン残差（BR）最小化の両方を特徴付ける統一的斜交射影フレームワークを提示する。BR最小化は性能保証を提供し、数値的により安定しているが、TD(0)はしばしばより良い解をもたらすが不安定性を示すため、平均的にはBRが優れている。

ABSTRACT

We investigate projection methods, for evaluating a linear approximation of the value function of a policy in a Markov Decision Process context. We consider two popular approaches, the one-step Temporal Difference fix-point computation (TD(0)) and the Bellman Residual (BR) minimization. We describe examples, where each method outperforms the other. We highlight a simple relation between the objective function they minimize, and show that while BR enjoys a performance guarantee, TD(0) does not in general. We then propose a unified view in terms of oblique projections of the Bellman equation, which substantially simplifies and extends the characterization of (schoknecht,2002) and the recent analysis of (Yu & Bertsekas, 2008). Eventually, we describe some simulations that suggest that if the TD(0) solution is usually slightly better than the BR solution, its inherent numerical instability makes it very bad in some cases, and thus worse on average.

研究の動機と目的

• TD(0)固定点計算とベルマン残差（BR）最小化の両方が線形価値関数近似において果たす性能と安定性を比較すること。
• ベルマン方程式の斜交射影を用いた両手法の幾何的統一的解釈を提供すること。
• 両手法の理論的保証および数値的挙動（特に誤差境界と安定性）を分析すること。
• シミュレーションを通じて、両手法の相対的性能と耐障害性を評価し、実用的選択を支援すること。
• Schoknecht (2002) や Yu & Bertsekas (2008) の先行研究を簡素化し、両手法のより一般的な特徴付けを拡張すること。

提案手法

• TD(0)とBRの両方を、状態分布 $\xi$ によって誘導される重み付きノルムを用いた真の価値関数 $v$ の特徴部分空間 $\text{span}(\Phi)$ への斜交射影として形式化する。
• 両手法が同じ射影固定点方程式を解くという統一的特徴付けを導出する。解は、異なる射影方向における $v$ の斜交射影に対応する。
• ベルマン残差を最小化することは、TD誤差を最小化する上に加えて「適切性」項を最小化することに等しいことを示す重要な関係を導入する。この項は数値的安定性に影響を与える。
• 報酬関数に依存しない誤差境界（命題3）を確立する。両手法に適用可能であり、理論的比較を可能にする。
• 最大30状態のランダムな鎖状MDPを用いたシミュレーションにより、さまざまな特徴空間次元において、TD(0)とBRの平均的性能、相対誤差、数値的安定性を比較する。
• 特にサンプリングに基づく推定における両手法の分散と収束挙動を分析し、BRの二重サンプリングに起因する高い計算コストを強調する。

実験結果

リサーチクエスチョン

• RQ1 BRが価値関数近似においてTD(0)を上回る条件は何か、逆にTD(0)がBRを上回る条件は何か。
• RQ2 TD(0)とBRが最小化する目的関数の理論的関係は何か。この関係は両者の数値的安定性にどのように影響するか。
• RQ3 TD(0)とBRの両方がベルマン方程式の斜交射影として特徴付けられるか。その場合、両手法の分析を統一する方法は何か。
• RQ4 BR最小化はTD(0)に欠如する性能保証を提供するか。この保証は実用的選択にどのように影響するか。
• RQ5 提案された統一的斜交射影フレームワークは、事前的な近似手法選択を改善できるか、あるいは新しいアルゴリズムの設計を支援できるか。

主な発見

• BR最小化は誤差境界という形で性能保証を提供するが、TD(0)は一般にはそのような境界を持たない。
• TD(0)の解は平均的にはBRの解よりもわずかに正確であるが、顕著な数値的不安定性を示し、偶発的な深刻な失敗を引き起こすことがある。
• シミュレーションでは、TD(0)の平均相対誤差 ($e_{TD}/e$) は低いが、不安定性のため性能の分散が高く、BRの誤差 ($e_{BR}/e$) は滑らかで一貫性がある。
• BR目的関数に含まれる追加の「適切性」項が、TD誤差を制限することで、解の安定性に重要な役割を果たしており、BRの耐障害性を説明する。
• BRの推定における分散が高くなる（二重サンプリングのため）ものの、数値的安定性の優位性により、全体としての平均性能はTD(0)を上回る。
• 提案された斜交射影フレームワークは、Schoknecht (2002) や Yu & Bertsekas (2008) の先行研究を簡素化し、両手法の幾何的統一とよりタイトな誤差境界を提供する。