[論文レビュー] Combining Parametric and Nonparametric Models for Off-Policy Evaluation

Omer Gottesman, Yao Liu+3 more|arXiv (Cornell University)|May 14, 2019

Reinforcement Learning in Robotics被引用数 12

ひとこと要約

本論文は、強化学習におけるオフポリシー評価（OPE）を改善するために、動的にパラメトリックモデルとノンパラメトリックモデルを組み合わせる混合専門家（MoE）フレームワークを提案する。局所的モデル誤差を推定し、プランナが各ステップで最適なモデルを選択することで、全体の価値推定誤差を低減し、複数のドメインで個々のモデルや最先端の重要度サンプリング手法を上回る性能を発揮する。

ABSTRACT

We consider a model-based approach to perform batch off-policy evaluation in reinforcement learning. Our method takes a mixture-of-experts approach to combine parametric and non-parametric models of the environment such that the final value estimate has the least expected error. We do so by first estimating the local accuracy of each model and then using a planner to select which model to use at every time step as to minimize the return error estimate along entire trajectories. Across a variety of domains, our mixture-based approach outperforms the individual models alone as well as state-of-the-art importance sampling-based estimators.

研究の動機と目的

• 単独のパラメトリックモデルやノンパラメトリックモデルでは、パラメトリックモデルはバイアスのリスクを抱え、ノンパラメトリックモデルはデータのスパarsityに苦しむため、それらの限界を是正すること。
• 両モデルタイプの長所を知的に組み合わせることで、オフポリシー評価における価値推定の期待誤差を低減すること。
• モデル選択を各ステップで最小化する累積リターン誤差を目的とする計画問題としてオフポリシー評価を定式化すること。
• プランナが各遷移で最も正確なモデルを選択できるように、局所的モデル誤差の推定器を構築すること。
• 従来の手法と比較して、有限データ環境下でも一貫性があり、性能が向上することを示すこと。

提案手法

• 本手法は、各時刻にパラメトリックモデルとノンパラメトリックモデルの間でモデルを選択する混合専門家（MoE）アーキテクチャを用いる。選択は局所的誤差の推定に基づく。
• 局所的モデル誤差は、真の次状態と予測された次状態の間のユークリッド距離を用いて推定され、決定論的ダイナミクスを仮定している。
• 期待される総リターン推定誤差を最小化するように、プランナ（例：MCTS）を用いてモデルのシーケンスを選択する。
• プランナは推定誤差を用いて軌道レベルの意思決定を行うことで、直近の誤差のみを最小化する「短視眼的」な選択を回避する。
• 無限データの極限において一貫性を示し、ノンパラメトリック手法のバイアス低減効果とパラメトリックモデルの一般化能力を両立する。
• 誤差推定器を状態分布同士の比較に変更することで、確率的環境へも拡張可能である。

実験結果

リサーチクエスチョン

• RQ1 パラメトリックモデルとノンパラメトリックモデルの動的組み合わせにより、単独で使用する場合と比較して、オフポリシー価値推定誤差を低減できるか？
• RQ2 長期的誤差を考慮する計画ベースのモデル選択戦略は、短視眼的または静的モデル使用に比べて、より優れたOPE性能を発揮するか？
• RQ3 推定された局所的モデル誤差は、全体のリターン誤差を最小化するようにプランナを誘導するのに、真の誤差と同等に有効か？
• RQ4 状態空間の距離尺度の選択が、異なるドメインにおける価値推定の正確さにどの程度影響を与えるか？
• RQ5 MoEフレームワークは、無限データの極限において一貫性のある性能を発揮するとともに、有限データ設定でも低誤差を維持できるか？

主な発見

• がんドメインでは、MoEモデルが相対的価値推定RMSE 0.020を達成し、パラメトリックモデル（0.021）とノンパラメトリックモデル（0.027）を上回った。
• HIVドメインでは、MoEモデルがRMSE 0.64を達成し、ノンパラメトリックモデル（0.88）をわずかに上回り、重要度サンプリング（1.0）を著しく上回った。
• 真のモデル誤差が提供された場合、MoEプランナは最小の軌道シミュレーション誤差を達成し、誤差推定が意思決定を効果的に導くことを示した。
• 真の誤差にアクセスできない状況でも、計画の導入により価値推定誤差が低減したため、誤差推定の不正確さに対してもロバストであることが示された。
• 計画を組み込んだMoEアプローチ（MCTS-MoE）は、両ドメインで最小のRMSEを達成し、のがんでは0.019、HIVでは0.63を記録し、すべてのベースラインを上回った。
• ドメインに適した距離尺度（例：重み付きユークリッド距離）を用いることで、価値推定がさらに向上し、特に報酬に与える各状態次元の影響が不均等なドメインで顕著であった。