[論文レビュー] Schema Networks: Zero-shot Transfer with a Generative Causal Model of Intuitive Physics

Ken Kansky, Tom Silver+8 more|arXiv (Cornell University)|Jun 14, 2017

Reinforcement Learning in Robotics参考文献 20被引用数 150

ひとこと要約

Schema Networks は直感的物理学に関する生成的でオブジェクト指向の因果モデルを学習し、Breakout の変 variations に対するゼロショット転送を可能にし、転送と頑健性の点で A3C および Progressive Networks を上回る。

ABSTRACT

The recent adaptation of deep neural network-based methods to reinforcement learning and planning domains has yielded remarkable progress on individual tasks. Nonetheless, progress on task-to-task transfer remains limited. In pursuit of efficient and robust generalization, we introduce the Schema Network, an object-oriented generative physics simulator capable of disentangling multiple causes of events and reasoning backward through causes to achieve goals. The richly structured architecture of the Schema Network can learn the dynamics of an environment directly from data. We compare Schema Networks with Asynchronous Advantage Actor-Critic and Progressive Networks on a suite of Breakout variations, reporting results on training efficiency and zero-shot generalization, consistently demonstrating faster, more robust learning and better transfer. We argue that generalizing from limited data and learning causal relationships are essential abilities on the path toward generally intelligent systems.

研究の動機と目的

• Robust generalization across task variations を学習した構造化因果ダイナミクスで動機付けする。
• イベントの複数の原因を分離するためのオブジェクト指向の生成モデル（Schema Networks）を導入する。
• 強化学習と計画のための確率的グラフィカルモデルとしての推論としての計画を実現する。
• ゼロショット転送を示し、A3C および Progressive Networks と比較する。

提案手法

• 環境を属性を持つエンティティとして表現し、グラウンデッドスキーマの因果グラフを形成する。
• アン grounded スキーマをテンプレートとしてエンティティ・時刻・結合にわたってインスタンス化し、グラウンデッドスキーマを作成する。
• 遷移を活発なグラウンデッドスキーマの OR と自己遷移項の和としてモデル化して持続性を扱う。
• 複雑さのペナルティの下で予測誤差を最小化するスキーマ追加を貪欲な LP-緩和アプローチを用いて学習する。
• 最大積意味伝播（MPBP）を用いて Schema Network 上で MAP 推論を実行し、目標へと繋がる行動列を見つけて計画する。

実験結果

リサーチクエスチョン

• RQ1 Schema Networks は訓練中に unseen な Breakout の変化へゼロショット転送を達成できるか。
• RQ2 スキーマは報酬とダイナミクスの背後にある因果因子の分離を可能にするか。
• RQ3 Schema Networks の転送と学習効率は A3C および Progressive Networks とどう比較されるか。
• RQ4 生成的因果モデルにおける推論としての計画が、モデルフリー法より探索と頑健性を改善できるか。

主な発見

• Schema Networks は Breakout の変種に対して、A3C および Progressive Networks よりも速く、より頑健な学習と転送を可能にする。
• 標準的な Breakout から学習したダイナミクスが追加の訓練なしに変 variations に適用されるゼロショット転送を実証する。
• モデルは報酬の原因（例：レンガの色が報酬に影響）を分離でき、学習した因果構造を新しいレイアウトへ一般化できる。
• 因果グラフにおける推論としての計画は回帰計画と目標指向の振る舞いを支援する。