[論文レビュー] Why Should I Trust You, Bellman? The Bellman Error is a Poor Replacement for Value Error

Scott Fujimoto, David Meger+3 more|arXiv (Cornell University)|Jan 28, 2022

Model Reduction and Neural Networks被引用数 7

ひとこと要約

この論文は、誤差の相殺や有限データの状態のため、価値関数の精度の代理としてベルマン誤差が不適切であることを示している。誤差の相殺や有限データの影響により、価値誤差が高くなってもベルマン誤差が低くなることがある。著者らは、ベルマン誤差を最小化しても価値精度が向上しないことを示しており、特にオフポリシー設定では顕著である。したがって、ベルマン誤差ではなく、価値誤差を主な目的関数とするべきだと提言する。

ABSTRACT

In this work, we study the use of the Bellman equation as a surrogate objective for value prediction accuracy. While the Bellman equation is uniquely solved by the true value function over all state-action pairs, we find that the Bellman error (the difference between both sides of the equation) is a poor proxy for the accuracy of the value function. In particular, we show that (1) due to cancellations from both sides of the Bellman equation, the magnitude of the Bellman error is only weakly related to the distance to the true value function, even when considering all state-action pairs, and (2) in the finite data regime, the Bellman equation can be satisfied exactly by infinitely many suboptimal solutions. This means that the Bellman error can be minimized without improving the accuracy of the value function. We demonstrate these phenomena through a series of propositions, illustrative toy examples, and empirical analysis in standard benchmark domains.

研究の動機と目的

• 強化学習におけるベルマン誤差と価値関数精度の関係を調査すること。
• 特にオフポリシー設定においてベルマン誤差を最小化しても価値関数精度が向上しない理由を特定すること。
• 誤差の相殺効果により、価値誤差が高くなってもベルマン誤差が低くなることがあることを示すこと。
• 有限データの状態では、ベルマン方程式を無限に多くの非最適な価値関数が正確に満たすことができることを示すこと。
• ベルマン誤差ではなく、価値誤差を価値関数学習における主な目的関数とするべきだと提言すること。

提案手法

• 無限データと有限データの両状態におけるベルマン誤差と価値誤差の関係の理論的分析。
• 誤差の相殺がベルマン誤差の大きさを小さくする仕組みを形式化するための命題と補題の導出。
• バイアスのある価値関数が、バイアスのないものよりも低いベルマン誤差を達成する例を示すための玩具的環境の構築。
• 標準的な強化学習ベンチマークでベルマン残差最小化（BRM）とフィットドQ評価（FQE）を比較する実験的評価。
• ポリシーに依存するデータとオフポリシーのデータの両方を用いて、ベルマン誤差と価値誤差の相関関係を評価。
• 標準的な強化学習アルゴリズムと標準的なハイパーパrameterを用いて、実用的状況における結果の一般化可能性を検証。

実験結果

リサーチクエスチョン

• RQ1 なぜベルマン誤差を最小化しても、実際の価値関数精度が向上しないのか？
• RQ2 ベルマン方程式の両側のバイアス推定値における誤差の相殺が、ベルマン誤差の大きさにどのように影響するか？
• RQ3 有限データの状態では、ベルマン方程式を正確に満たす非最適な価値関数が無限に存在しうるか？
• RQ4 なぜベルマン残差最小化（BRM）はベルマン誤差は低くするが、Fitted Q-Evaluation（FQE）よりも価値誤差が高くなるのか？
• RQ5 さまざまな強化学習環境やデータ状態において、ベルマン誤差と実際の価値関数精度の相関関係はどの程度強いのか？

主な発見

• 誤差の相殺のため、ベルマン誤差の大きさは価値誤差と弱い相関関係にある。
• バイアスのある価値関数は、バイアスのないものよりも低いベルマン誤差を達成できるが、絶対値の価値誤差は高くなることがある。
• 有限データの状態では、ベルマン方程式を正確に満たす非最適な価値関数が無限に存在するため、ベルマン誤差の最小化は目的関数として効果が薄い。
• 実験結果から、ベルマン誤差を直接最小化するBRMは、ベルマン誤差は著しく低くなるが、FQEよりもはるかに高い価値誤差を生じる。これは、ポリシーに依存するデータでも同様に観察された。
• オフポリシー設定では、BRMがベルマン誤差はほぼゼロに近づけるが、価値誤差は大きく、性能差が拡大する。
• これらの結果から、ベルマン誤差は、特にオフポリシー強化学習において、モデル選択や目的関数として信頼できる指標ではないことが示唆される。