[論文レビュー] Object-Oriented Dynamics Predictor

Guangxiang Zhu, Zhiao Huang+1 more|arXiv (Cornell University)|May 25, 2018

Reinforcement Learning in Robotics被引用数 18

ひとこと要約

本論文では、オブジェクトを分解し、クラス固有の畳み込みニューラルネットワーク（CNN）ベースのオブジェクト関係を用いて、アクション条件下でのダイナミクスを予測する、エンドツーエンドで教師なしのニューラルネットワークであるオブジェクト指向ダイナミクス予測器（OODP）を提案する。OODPは、新しいオブジェクトレイアウトや外見に対しても強力な一般化性能を発揮し、ゼロショット一般化において先行手法を上回り、意味的に解釈可能なダイナミクスモデルの学習を可能にする。

ABSTRACT

Generalization has been one of the major challenges for learning dynamics models in model-based reinforcement learning. However, previous work on action-conditioned dynamics prediction focuses on learning the pixel-level motion and thus does not generalize well to novel environments with different object layouts. In this paper, we present a novel object-oriented framework, called object-oriented dynamics predictor (OODP), which decomposes the environment into objects and predicts the dynamics of objects conditioned on both actions and object-to-object relations. It is an end-to-end neural network and can be trained in an unsupervised manner. To enable the generalization ability of dynamics learning, we design a novel CNN-based relation mechanism that is class-specific (rather than object-specific) and exploits the locality principle. Empirical results show that OODP significantly outperforms previous methods in terms of generalization over novel environments with various object layouts. OODP is able to learn from very few environments and accurately predict dynamics in a large number of unseen environments. In addition, OODP learns semantically and visually interpretable dynamics models.

研究の動機と目的

• 異なるオブジェクトレイアウトを有する新しい環境において、ピクセルレベルのダイナミクスモデルの一般化性能が低いという問題に対処すること。
• アクションとオブジェクト間関係に条件づけられた、エンドツーエンドで教師なしのオブジェクトレベルのダイナミクスを学習すること。
• 局所性を活用し、クラス固有の関係メカニズムを設計することで、一般化性能と解釈可能性を向上させること。
• 未観測の環境に一般化可能な意味的・視覚的に解釈可能なダイナミクスモデルを学習すること。
• オブジェクトの外見の変化や自然画像入力に対しても、モデルのロバスト性を示すこと。

提案手法

• OODPは自己教師ありのエンドツーエンドニューラルネットワークを用い、オブジェクト検出器を介して視覚的観測をオブジェクトに分解する。
• オブジェクト固有のベクトルではなく、クラス固有のオブジェクトマスクを定式化する、新しいCNNベースの関係メカニズムを採用し、オブジェクトインスタンス間での一般化を可能にする。
• 局所性の原則を、近隣領域のクロップとCNNを用いて活用することで、オブジェクト間の空間的相互作用をモデル化する。
• 空間変換ネットワーク（STN）を用いて、アクションと学習済みのオブジェクト間関係に条件づけて、オブジェクトレベルのダイナミクスを予測する。
• 明示的なオブジェクトアノテーションを必要とせず、将来のフレームの再構成損失を用いて教師なしで学習する。
• オブジェクト検出、関係モデリング、ダイナミクス予測を統合した一貫したアーキテクチャを採用し、知覚とダイナミクスの共同学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドで教師なしのニューラルネットワークは、新しいオブジェクトレイアウトに一般化可能なダイナミクスモデルを学習できるか？
• RQ2 クラス固有で局所性に配慮した関係メカニズムは、ダイナミクス予測における一般化性能をどのように向上させるか？
• RQ3 オブジェクト指向のダイナミクス学習は、意味的にも視覚的にも解釈可能なモデルをもたらすか？
• RQ4 モデルは、異なるオブジェクトの外見やレイアウトを持つ環境にどの程度一般化できるか？
• RQ5 モデルは、火星探査車のナビゲーションシナリオなど、現実の自然画像入力に対応できるか？

主な発見

• OODPは、新しいオブジェクトレイアウト（S0-S6）における5対10の一般化で94%の精度と0.28のRMSEを達成し、先行手法を顕著に上回った。
• 火星探査車ナビゲーションドメインでは、OODPは未観測環境で92%の精度（n-error）を達成した。これに対してCDNAは75%、ACモデルは12%であった。
• OODPは、訓練データとは異なるオブジェクトの外見に対しても高い性能（精度 > 0.88）を維持し、外見の変化に対して強いロバスト性を示した。
• 学習済みマスクの可視化から、OODPは未観測環境においても重要なオブジェクトとそれらの関係を適切に特定できており、オブジェクトレベルの知識の再利用が可能であることがわかった。
• OODPは、シーンを意味のあるオブジェクトと関係に分解することで解釈可能なダイナミクスを学習し、関心を向けられる移動・静止オブジェクトに空間的注目が集中している。
• OODPは極めて少ない訓練環境からの一般化を効果的に行い、多数の未観測環境においてもダイナミクスを正確に予測できた。