[論文レビュー] Interpretable Dynamics Models for Data-Efficient Reinforcement Learning

Markus Kaiser, Clemens Otte+2 more|arXiv (Cornell University)|Jul 10, 2019

Gaussian Processes and Bayesian Inference参考文献 6被引用数 5

ひとこと要約

本稿では、ガウス過程ベースの遷移モデルに専門家知識を組み込むことで、データ効率的な強化学習のためのベイジアンで解釈可能なダイナミクスモデルを提案する。変分推論を用いることで、ダイナミクスを構造的要素（流れ、ノイズ、転倒イベント）に分解し、人間が解釈可能なインサイトを提供するとともに、二峰性で不均一分散性のあるベンチマークにおいてNFQよりも優れたデータ効率性を達成する。

ABSTRACT

In this paper, we present a Bayesian view on model-based reinforcement learning. We use expert knowledge to impose structure on the transition model and present an efficient learning scheme based on variational inference. This scheme is applied to a heteroskedastic and bimodal benchmark problem on which we compare our results to NFQ and show how our approach yields human-interpretable insight about the underlying dynamics while also increasing data-efficiency.

研究の動機と目的

• 環境との相互作用が高コストまたは危険な場合のバッチ強化学習におけるデータ効率性の向上。
• モデルベース強化学習における標準的なガウス過程モデルの限界を、専門家が構築した構造的事前分布を組み込むことで克服。
• 二峰性の遷移や故障イベントを含む複雑で確率的なダイナミクスの、人間が解釈可能なモデリングの実現。
• 確率的方策探索を支援しつつ、モデルの解釈性を維持する効率的な推論スキームの開発。
• 不均一分散性と二峰性を持つダイナミクスを示す挑戦的なベンチマークにおいて、より優れたサンプル効率性と解釈可能性の実証。

提案手法

• 遷移ダイナミクスを、決定的流れ（f）、不均一分散性のあるノイズ（σ）、転倒イベント確率（λ）という3つの成分に構造化分解し、それぞれを独立したガウス過程でモデル化する。
• 専門家知識を組み込むために、ダイナミクスに事前構造を課し、川の流れ、乱流、滝の転倒リスクを明示的にモデル化する。
• 因子化された変分推論スキームを用いて、ダイナミクスおよび方策パラメータの事後分布を近似し、効率的なサンプリングと勾配推定を可能にする。
• モンテカルロロールアウトを用いた確率的勾配降下法により方策を最適化し、変分事後分布を通じてダイナミクスモデルに沿ったサンプルを伝搬する。
• 期待報酬の政策パラメータに関する勾配を計算するために、自動微分ツール（例：TensorFlow）を活用する。
• スパースGP近似（誘導点uを用いて）により、並列化可能なモンテカルロロールアウトと効率的な推論を実現し、スケーラビリティを確保する。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンダイナミクスモデルに専門家が構築した構造的事前分布を組み込むことで、バッチ強化学習におけるデータ効率性が向上するか。
• RQ2 流れ、ノイズ、転倒イベントといった解釈可能な要素を組み込むことで、モデルの透明性と方策学習がどのように向上するか。
• RQ3 本手法は、複雑で二峰性の環境において、NFQのような非解釈的ベースラインに比べてどの程度サンプル効率性に優れているか。
• RQ4 構造的ダイナミクスモデルにおける変分推論は、環境との相互作用を最小限に抑えて信頼性の高い方策最適化を可能にするか。
• RQ5 物理的に意味のある要素にダイナミクスを分解することで、より頑健で汎用性の高い方策が得られるか。

主な発見

• 提案手法は、Wet-ChickenベンチマークにおいてNFQに比べて顕著に高いデータ効率性を達成し、効果的な方策を学習するための遷移数を大幅に削減した。
• モデルは解釈可能なダイナミクス成分（流れ、ノイズ、転倒イベント確率）を生成し、川システムに関する専門家知識と整合性を示した。
• f、σ、λの成分への分解により、川の縁付近での高乱流や滝付近での高流れといったシステム行動の明確な解釈が可能になった。
• 構造的ダイナミクスモデルにおける変分推論により、最適化ステップごとに少数のモンテカルロロールアウトで効率的な方策学習が実現した。
• 本手法は環境の二峰性を的確に捉えており、滝での高確率の転倒イベントや川の確率的漂流を正しくモデル化した。
• 方策最適化プロセスは安定的かつスケーラブルであり、変分事後分布を介した自動微分により勾配が効率的に計算された。