[論文レビュー] Policy Error Bounds for Model-Based Reinforcement Learning with Factored Linear Models

Bernardo Ávila Pires, Csaba Szepesvári|arXiv (Cornell University)|Feb 19, 2016

Reinforcement Learning in Robotics参考文献 18被引用数 10

ひとこと要約

本稿は、要因分解線形モデルを用いたモデルベース強化学習（MBRL）における、新たな方策誤差バウンドを確立する。重み付きノルムを用いたバウンドを導入し、MBRLにおいてこれまで未解決であった分野であったが、割引因子への感受性を低減し、測度不一致問題を解消する。主な貢献は、バナッハラティスと混合ノルムを用いた新規な解析フレームワークであり、これは値選択作用素が非拡大であることを保証し、従来の手法よりもタイトでより安定した性能保証をもたらす。

ABSTRACT

In this paper we study a model-based approach to calculating approximately optimal policies in Markovian Decision Processes. In particular, we derive novel bounds on the loss of using a policy derived from a factored linear model, a class of models which generalize numerous previous models out of those that come with strong computational guarantees. For the first time in the literature, we derive performance bounds for model-based techniques where the model inaccuracy is measured in weighted norms. Moreover, our bounds show a decreased sensitivity to the discount factor and, unlike similar bounds derived for other approaches, they are insensitive to measure mismatch. Similarly to previous works, our proofs are also based on contraction arguments, but with the main differences that we use carefully constructed norms building on Banach lattices, and the contraction property is only assumed for operators acting on "compressed" spaces, thus weakening previous assumptions, while strengthening previous results.

研究の動機と目的

• モデルベース強化学習における要因分解線形モデルから導かれる方策の性能バウンドを導出すること。
• データが疎または非一様に分布する状況で過剰に保守的になることが知られている、上界ノルムに依存する既存のバウンドの限界を克服すること。
• 近似線形計画法（ALP）および近似動的計画法（ADP）で一般的に見られる測度不一致問題を、新規な作用素フレームワークを用いて解消すること。
• より弱い仮定の下でも既存の上界ノルムバウンドを回復できるように、以前の結果を一般化すること。
• ALP や ADP で見られる誤差拡大問題を回避できることを示し、特にデータ分布のシフトが生じる状況下でも有効であることを示すこと。

提案手法

• 著者らは、遷移カーネルを2つの線形作用素の積として近似する要因分解線形モデル構造を導入する。右因子 R は空間 W への射影を表し、左因子 Q は再び行動価値空間への射影を表す。
• ベルマン作用素 T_Q を圧縮空間上で定義し、W^A 上での値選択作用素 M' と、完全なリターン作用素 T_QR を定義する。
• バナッハラティス理論を用いて、値選択作用素 M' がこれらのノルムにおいて非拡大であることを保証する、新規な混合ノルム構造を構築する。
• 圧縮空間上で収縮的議論を用いることで、強いグローバル収縮仮定の必要性を弱め、より強固なバウンドを導出する。
• フレームワークにより、上界、重み付き上界、重み付き L^p ノルムにおける性能バウンドが可能となり、モデル誤差は重み付きノルムで測定される。
• モデル部品の弱い有界性およびホモモーティズム条件の下で理論的バウンドを導出する。特に、スワップ作用素 Q R に対する条件がノルム制御を保証する。

実験結果

リサーチクエスチョン

• RQ1 モデルベースRLにおける方策誤差バウンドを、従来の上界ノルムではなく重み付きノルムを用いて導出可能か？（実際には過剰に悲観的であると知られている。）
• RQ2 MBRLにおける要因分解線形モデルの使用により、従来の手法と比較して割引因子 γ への感受性が低下するか？
• RQ3 提案されたフレームワークにより、近似線形計画法および近似動的計画法に見られる測度不一致問題を解消できるか？
• RQ4 バナッハラティスと混合ノルムの構造を活用することで、よりタイトでより安定したバウンドを導出可能か？
• RQ5 新しいバウンドは、既存の結果の回復と新しい設定への一般化において、どのように既存の結果と比較されるか？

主な発見

• 本稿は、モデル誤差が重み付きノルムで測定される、モデルベースRLにおける初めての方策誤差バウンドを導出する。これにより、学習目的とより自然に整合する。
• バウンドは割引因子 γ への感受性が低く、従来の手法と比較して顕著な改善を示す。
• 解析は測度不一致に影響されず、サンプリング分布と最適方策の定常分布が異なる場合に生じる制御困難な誤差項を回避する。
• ジョインホモモーティズム条件の下で、既存の上界ノルムバウンドを回復でき、従来の研究との整合性を検証する。
• バナッハラティス理論の活用により、行動価値関数のための新しい混合ノルムの定義が可能となり、値選択作用素が非拡大であることを保証する。これは安定性にとって不可欠である。
• スワップ作用素 Q R に対する条件は、従来のグローバル収縮仮定よりもより取り扱いやすく、低次元作用素に制限されるため、より実用的であることが示された。