[論文レビュー] Learning Plannable Representations with Causal InfoGAN

Thanard Kurutach, Aviv Tamar+3 more|arXiv (Cornell University)|Jul 24, 2018

Multimodal Machine Learning Applications参考文献 33被引用数 91

ひとこと要約

因果情報GANは高次元の観測から低次元で計画可能な表現を学習し、観測を抽象的な状態にマッピングしてその潜在空間で計画することにより、目標指向の視覚的計画を可能にします。さらに、計画を一連の観測へデコードします。

ABSTRACT

In recent years, deep generative models have been shown to 'imagine' convincing high-dimensional observations such as images, audio, and even video, learning directly from raw data. In this work, we ask how to imagine goal-directed visual plans -- a plausible sequence of observations that transition a dynamical system from its current configuration to a desired goal state, which can later be used as a reference trajectory for control. We focus on systems with high-dimensional observations, such as images, and propose an approach that naturally combines representation learning and planning. Our framework learns a generative model of sequential observations, where the generative process is induced by a transition in a low-dimensional planning model, and an additional noise. By maximizing the mutual information between the generated observations and the transition in the planning model, we obtain a low-dimensional representation that best explains the causal nature of the data. We structure the planning model to be compatible with efficient planning algorithms, and we propose several such models based on either discrete or continuous states. Finally, to generate a visual plan, we project the current and goal observations onto their respective states in the planning model, plan a trajectory, and then use the generative model to transform the trajectory to a sequence of observations. We demonstrate our method on imagining plausible visual plans of rope manipulation.

研究の動機と目的

• 高次元の観測から目標指向の視覚計画をどのように想像するかを動機づけ、検討する。
• データの因果構造を捉えた低次元で計画に適した表現を学習する。
• 表現学習と計画を統合して、開始から目標へと移行する一連の観測を生成する。

提案手法

• 観測を構造化された潜在計画システムとノイズ成分に分解する因果InfoGANを訓練する。
• データを説明する因果遷移を抽象状態 s, s' が捉えるよう、相互情報目的を用いる。
• 離散的（ワンホットまたは二値）と連続的な潜在計画システムの双方を、互換性のある計画アルゴリズムと共にサポートする。
• 高次元の観測を処理するため、観測 o から潜在状態 s へのエンコードを Q(s|o) によって行う、または潜在空間最適化を通じて行う。
• 条件付きGANジェネレータを用いて潜在状態の軌跡を観測の一連のシーケンスへデコードし、識別器や新規性検出器で最良の軌道を選択する。
• 潜在遷移と生成観測との相互情報を近似する変分下界 I_VLB で最適化する。

実験結果

リサーチクエスチョン

• RQ1 高次元のデータに対して表現力があり、かつ効率的な計画のために構造化された表現をどのように学習できるか？
• RQ2 GANベースのモデルが計画重視の潜在空間を持ち、開始観測から目標観測へと進むもっともらしいウォークスルーを生成できるか？
• RQ3 潜在計画システムを離散的または連続的に設計して標準的な計画アルゴリズムと互換性を持たせるには？
• RQ4 高次元ドメインにおける実観測の潜在状態へのエンコードを改善する戦略は？
• RQ5 学習された表現と生成されたウォークスルーは、ロープ操作などのタスクに対してどれほど有効か？

主な発見

• 因果InfoGANは因果遷移と整合する抽象状態を学習し、潜在空間での計画をサポートできる。
• フレームワークは離散および連続の潜在計画システムをサポートし、Dijkstraや線形補間のような計画アルゴリズムと互換性がある。
• この手法は実画像データを用いたロープ操作のシナリオで、開始から目標へのもっともらしい視覚的ウォークスルーを生成できる。
• 高次元観測のエンコード戦略（探索ベースの潜在マッピングまたは学習済み Q）は、生成データで訓練された単純な識別器を超えて状態マッピングを改善する。
• 変分下界は相互情報目的の訓練を促進し、モデルのエンドツーエンド最適化を可能にする。