[論文レビュー] Variational Temporal Abstraction

Taesup Kim, Sungjin Ahn+1 more|arXiv (Cornell University)|Oct 2, 2019

Advanced Image and Video Retrieval Techniques被引用数 24

ひとこと要約

本稿では、順序データ内の隠れ時間的構造を発見し、エージェント学習における効率的なジャンプ型想像を可能にする確率的階層的再帰的状態空間モデル、Variational Temporal Abstraction (VTA) を提案する。部分列の数と長さを潜在変数として扱い、変分推論を用いることで、解釈可能な階層的状態遷移を学習し、ベースラインモデルと比較して3次元ナビゲーションタスクにおけるサンプル効率を顕著に向上させる。

ABSTRACT

We introduce a variational approach to learning and inference of temporally hierarchical structure and representation for sequential data. We propose the Variational Temporal Abstraction (VTA), a hierarchical recurrent state space model that can infer the latent temporal structure and thus perform the stochastic state transition hierarchically. We also propose to apply this model to implement the jumpy-imagination ability in imagination-augmented agent-learning in order to improve the efficiency of the imagination. In experiments, we demonstrate that our proposed method can model 2D and 3D visual sequence datasets with interpretable temporal structure discovery and that its application to jumpy imagination enables more efficient agent-learning in a 3D navigation task.

研究の動機と目的

• 階層的時間的抽象化を通じて将来の計画を効率的に行えるようにすることで、強化学習におけるサンプル効率の問題に対処すること。
• 事前教師なし条件下で順序データ内の解釈可能な隠れ時間的構造（例：部分列）を発見すること。
• 順序データの長期的依存関係を捉える確率的で階層的な状態遷移をモデル化すること。
• 想像拡張型エージェントへの応用を通じて、3次元ナビゲーションタスクにおける計画効率を向上させること。
• 不確実な事後分布に対する変分推論フレームワークを、離散的潜在時間的構造の上に構築すること。

提案手法

• 部分列の数Nと長さLを離散的潜在変数として定義する階層的再帰的状態空間モデル（HRSSM）を提案する。
• 再帰的ニューラルネットワークを用いて階層的状態遷移をモデル化する：各時刻で時間的抽象化（z_i）のためのRNNと、観測抽象化（s_j^i）のためのRNNを別々に使用する。
• 離散的潜在変数を連続的で微分可能な変数に再定式化するためのバイナリ部分列インジケータを導入し、変分推論によるエンドツーエンド学習を可能にする。
• 不確実な潜在構造の事後分布を近似するためのアンモラライズド推論ネットワークを用いた変分推論を適用し、確率的最適化を可能にする。
• 階層的生成プロセスを採用する：z_iは直前のz_{i-1}に条件付けられたRNNによって遷移し、s_j^iはz_iと直前のs_{j-1}^iに条件付けられたRNNによって遷移する。
• モデルをゴール指向のナビゲーションタスクにおけるジャンプ型想像モジュールとして適用し、エージェントが抽象化された複数ステップの状態遷移を用いて計画することで、サンプル効率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 確率的で階層的な系列モデルは、事前教師なし条件下で順序データ内の解釈可能な時間的構造を発見できるか？
• RQ2 変分推論は、部分列の数と長さを表す離散的潜在変数を扱うためにどのように適合可能か？
• RQ3 階層的時間的抽象化は、モデルベース強化学習における将来の想像の効率を向上させられるか？
• RQ4 提案されたHRSSMは、3次元ナビゲーションタスクにおけるサンプル効率において、標準的なRSSMを上回るか？
• RQ5 時間的抽象化は、計画中のトラジェクトリーロールアウトにおける計算コストをどの程度低減するか？

主な発見

• HRSSMは2次元バッティングボールおよび3次元迷路探索データセットにおいて、意味的な部分列セグメンテーションを示す定性的な証拠とともに、解釈可能な時間的構造を効果的に発見した。
• ゴール指向の3次元ナビゲーションタスクにおいて、HRSSMはRSSMと比較して顕著に高いサンプル効率を達成し、同じ計算予算下で50ステップ以内に大部分のエピソードを解決した。
• HRSSMは、想像トラジェクトリの長さが変化しても一貫した性能を維持したのに対し、RSSMは部分列の組み合わせ爆発により長期間のシーケンスで性能が低下した。
• モデルのジャンプ型想像機能により、エージェントは複数ステップを1つの状態遷移に抽象化することで、効果的に計画が可能になった。
• バイナリ部分列インジケータを用いた変分推論により、離散的潜在時間的構造を持つモデルの有効な学習が可能になった。
• ゴール特徴抽出器とHRSSMを共同で学習させることで、想像された状態とゴール状態との一致精度が向上し、計画性能が向上した。