[論文レビュー] A Perspective on Objects and Systematic Generalization in Model-Based RL

Sjoerd van Steenkiste, Klaus Greff+1 more|arXiv (Cornell University)|Jun 3, 2019

Semantic Web and Ontologies参考文献 39被引用数 15

ひとこと要約

この論文は、モデルベース強化学習（RL）エージェントが体系的な一般化とサンプル効率を達成するためには、動的に構築されるオブジェクトベースの世界モデルが必要であると主張する。オブジェクト——モジュール型で構成的かつ再利用可能な表現——は、表現、分離、構成の分野における的切な誘導的バイアスを通じて明示的に統合されるべきであり、グラフネットワークとメモリ拡張アーキテクチャが、動的でタスク特化型のモデル構築を可能にする有望なフレームワークであると提言する。

ABSTRACT

In order to meet the diverse challenges in solving many real-world problems, an intelligent agent has to be able to dynamically construct a model of its environment. Objects facilitate the modular reuse of prior knowledge and the combinatorial construction of such models. In this work, we argue that dynamically bound features (objects) do not simply emerge in connectionist models of the world. We identify several requirements that need to be fulfilled in overcoming this limitation and highlight corresponding inductive biases.

研究の動機と目的

• モノリシックで非構成的である世界モデルの限界——特に体系的な一般化に失敗する点——を解決すること。
• オブジェクト——動的に束縛され、再利用可能な特徴——が、知能エージェントにおけるモジュラーな知識再利用と組み合わせ的一般化に不可欠であると主張すること。
• 接続主義モデルにオブジェクトを埋め込む際の3つの核心的課題、すなわち表現、分離（オブジェクト発見）、構成（関係的推論）を特定し、強調すること。
• 現在のディープラーニングモデルが自然にオブジェクトを生成しないこと——したがって、それらの出現を可能にするために明示的な誘導的バイアスが必要であること——を強調すること。
• 注意機構、記憶、動的モデル構築を統合したシステムを提唱し、スケーラブルで一般化可能なRLエージェントを実現すること。

提案手法

• オブジェクト表現は普遍的で、複数のオブジェクトを扱い、共通のフォーマットを持つべきであり、これにより構成的推論とゼロショット一般化が可能になるように提案する。
• 重み共有を用いたグラフネットワークの使用を提言し、オブジェクトをノード、関係をエッジとして扱うことで、関係的推論を可能にする。
• オブジェクト状態に対する動的計算をサポートするため、メモリ拡張RNNやファストウェイトを提案し、即時の柔軟なモデル構築を可能にする。
• 接続主義システムにおいて、未発達な課題であるが不可欠な「無監視または弱監視によるオブジェクト発見（分離）」を提唱する。
• 注意機構と統合することで計算を関連する特徴に集中させ、記憶システムと統合することで長期的知識の取得を可能にするよう提案する。
• 文脈依存的にオブジェクトに役割を割り当てる動的バインディングは、孤立したコンポONENTではなく、包括的なシステム設計を必要とすることを提唱する。

実験結果

リサーチクエスチョン

• RQ1 なぜ標準的な接続主義モデルではオブジェクトが自然に出現しないのか。それらの出現を可能にするために必要な誘導的バイアスは何か。
• RQ2 オブジェクト表現は、最小限のデータで多様なタスクに体系的に一般化するのをどのように支援できるか。
• RQ3 リアルタイムでのオブジェクトの動的発見とバインディングの核心的課題は何か。スケーラブルにそれらをどのように解決できるか。
• RQ4 関係的または階層的環境において、オブジェクトをどのように組み合わせれば、組み合わせ的一般化が可能になるか。
• RQ5 記憶、注意、グラフベースの計算は、オブジェクトを用いた動的でタスク特化型のモデル構築をどのように可能にするか。

主な発見

• オブジェクトは標準的なディープラーニングモデルでは自然に出現せず、効果的に機能させるためには、表現、分離、構成の分野における明示的な誘導的バイアスが必要である。
• グラフネットワークは、共有重みを用いたノード間のメッセージパッシングを可能にすることで、構成的推論のための有望なフレームワークを提供し、体系的一般化を支援する。
• 分離問題——教師なしで生の観測からオブジェクトを発見する——は、現在のシステムにおいて最も軽視され、かつ最大の挑戦的要因である。
• 現在のオブジェクト発見アプローチは、事前処理、教師あり学習、または設計された生成モデルに強く依存しており、実世界データへのスケーラビリティと一般化性に制限を受ける。
• オブジェクトを記憶と注意機構と統合することで、モジュラーで文脈に適応した推論が可能になり、サンプル効率と転移学習が向上する。
• オブジェクト表現、動的バインディング、合成モデルからのフィードバックを統合する包括的システムは、接続主義RLにおけるオブジェクトの潜在能力を最大限に引き出すために不可欠である。