[論文レビュー] A Kernel Loss for Solving the Bellman Equation

Yihao Feng, Lihong Li+1 more|arXiv (Cornell University)|May 25, 2019

Reinforcement Learning in Robotics被引用数 26

ひとこと要約

本論文は強化学習におけるベルマン方程式の解法のための新しいカーネルベースの損失関数を提案し、勾配ベース最適化により安定的かつ収束性を保証する価値関数学習を可能にする。従来の手法とは異なり、二重サンプリング問題を回避し、オンポリシーおよびオフポリシー設定の両方でニューラルネットワークと併用しても信頼性が保証される。標準的なアルゴリズムが発散するベンチマークにおいて、優れた収束性と精度を示している。

ABSTRACT

Value function learning plays a central role in many state-of-the-art reinforcement-learning algorithms. Many popular algorithms like Q-learning do not optimize any objective function, but are fixed-point iterations of some variant of Bellman operator that is not necessarily a contraction. As a result, they may easily lose convergence guarantees, as can be observed in practice. In this paper, we propose a novel loss function, which can be optimized using standard gradient-based methods without risking divergence. The key advantage is that its gradient can be easily approximated using sampled transitions, avoiding the need for double samples required by prior algorithms like residual gradient. Our approach may be combined with general function classes such as neural networks, on either on- or off-policy data, and is shown to work reliably and effectively in several benchmarks.

研究の動機と目的

• 非収縮的ベルマン作用素に依存する深層強化学習アルゴリズムにおける不安定性と収束保証の欠如を解消すること。
• 残差勾配法に内在する二重サンプリング問題を回避する、微分可能で最適化に基づく価値関数学習の目的関数を構築すること。
• オンポリシーおよびオフポリシー設定の両方で、非線形関数近似子（例：ニューラルネットワーク）を用いた安定な学習を可能にすること。
• SBEEDのような複雑なミニマックス定式化の実用的でスケーラブルな代替手段を提供するとともに、理論的収束保証を維持すること。
• TD(0) や FVI といった不安定なコンponents をより信頼性の高い価値関数学習メカニズムに置き換えることで、方策評価と最適化を改善すること。

提案手法

• 積分的に正定値なカーネルに基づく損失関数を提案し、真の価値関数において一意のグローバル最小値を持つことを保証する。
• 単一の遷移から効率的に推定可能な損失の勾配を導出する。これにより、残差勾配法が要請する二重サンプリングの必要性を回避できる。
• 標準的な確率的勾配降下法を用いて経験的カーネル損失を最小化し、やや弱い仮定のもとで収束を保証する。
• 再生核ヒルベルト空間（RKHS）の枠組みを用いて価値関数のクラスを定義し、柔軟な関数近似を可能にする。
• カーネル損失を方策評価および方策最適化の両方の文脈に適用し、Trust-PCL などの既存フレームワークに統合する。
• カーネルトリックを用いて、高次元空間における価値関数の明示的表現なしに勾配を効率的に計算する。

実験結果

リサーチクエスチョン

• RQ1 非線形関数近似が適用される状況でも、その最小化が真のベルマン方程式の解に収束するような微分可能な損失関数を設計可能か？
• RQ2 この損失関数は、残差勾配法の二重サンプリング問題を回避しつつ、単一の遷移から効率的に推定可能か？
• RQ3 提案されたカーネル損失は、TD(0) や FVI が発散するような状況でも、価値関数学習における収束性と安定性を保証するか？
• RQ4 収束速度および最終的な解の精度という観点で、残差勾配法、SBEED、GTD2 といった既存手法と比較して、カーネル損失はどのように差をつけるか？
• RQ5 カーネル損失は方策最適化アルゴリズムに効果的に統合可能であり、データの使用効率と学習の安定性を向上させられるか？

主な発見

• 修正版の Tsitsiklis & Van Roy (1997) MDP 例において、提案されたカーネル損失は真の価値関数に収束するが、FVI や TD(0) は発散し、残差勾配法は最適でない解に収束する。
• Puddle World 環境では、カーネル損失は残差勾配法、FVI、非線形 GTD2、SBEED よりも低い平均二乗誤差（MSE）およびベルマン誤差を達成し、安定した学習が可能である。
• CartPole および Mountain Car タスクにおいて、カーネル損失法は MSE およびベルマン誤差の両方の指標で、すべてのベースラインを上回り、一貫した改善を示している。
• Trust-PCL に統合した場合、カーネル損失は Mujoco 環境（Swimmer, InvertedDoublePendulum, Ant, InvertedPendulum）において、より高い平均報酬を達成し、より少ないデータ量で学習が可能である。
• カーネル損失は MSE およびベルマン誤差の両者と良好な相関関係を示しており、残差勾配法で用いられる L2 損失とは異なり、価値関数の精度の信頼できる代理指標であることが示された。
• 本手法はオフポリシー設定でも頑健であり、ニューラルネットワークによる関数近似と併用しても効果的に機能し、標準的手法が失敗する場面でも実用的な安定性を示している。