[論文レビュー] Generative Temporal Models with Spatial Memory for Partially Observed Environments

M. Fraccaro, Danilo Jimenez Rezende+4 more|arXiv (Cornell University)|Apr 25, 2018

Artificial Intelligence in Games被引用数 19

ひとこと要約

本論文は、部分観測された2次元および3次元環境における長期予測を可能にする、空間記憶を備えたスケーラブルな行動条件付き生成時系列モデル（GTM-SM）を提案する。状態空間モデルと変分自己オートエンコーダ（VAE）を用いて、低次元のエージェント動的状態と高次元の視覚的観測を分離し、その分離表現を微分可能ニューラル辞書（DND）に格納することで、複雑な記憶アドレッシング機構を学習せずに、複雑な環境において数100ステップにわたる一貫性のあるエンドツーエンドの生成を実現する。

ABSTRACT

In model-based reinforcement learning, generative and temporal models of environments can be leveraged to boost agent performance, either by tuning the agent's representations during training or via use as part of an explicit planning mechanism. However, their application in practice has been limited to simplistic environments, due to the difficulty of training such models in larger, potentially partially-observed and 3D environments. In this work we introduce a novel action-conditioned generative model of such challenging environments. The model features a non-parametric spatial memory system in which we store learned, disentangled representations of the environment. Low-dimensional spatial updates are computed using a state-space model that makes use of knowledge on the prior dynamics of the moving agent, and high-dimensional visual observations are modelled with a Variational Auto-Encoder. The result is a scalable architecture capable of performing coherent predictions over hundreds of time steps across a range of partially observed 2D and 3D environments.

研究の動機と目的

• 高次元の状態ベクトルのため、標準的なRNNが失敗する部分観測された3次元環境における長期的視覚予測の課題に対処する。
• 複雑な空間環境におけるパラメトリック記憶モデルの限界を乗り越えるために、非パラメトリックな空間記憶システムを導入する。
• 構造化された記憶と動的状態の事前知識を活用し、高次元の視覚的観測を数100ステップにわたってスケーラブルかつ一貫性を持って生成する。
• 将来のモデルベース強化学習による空間的タスクの計画に統合可能なモデルを開発する。

提案手法

• 潜在状態を低次元の動的ベクトル（エージェントの位置）と高次元の視覚的表現（フレーム符号化）に分解する。
• 移動の物理的知識を組み込んだ状態空間モデルを用いてエージェントの動的状態をモデル化し、回帰損失を用いて遷移パラメータを学習する。
• 変分自己オートエンコーダ（VAE）を用いて視覚的観測を符号化し、分離可能で高容量な表現を学習する。
• 位置-視覚表現ペアを微分可能ニューラル辞書（DND）に格納する。DNDは非パラメトリック記憶であり、効率的な検索を可能にする。
• 現在推定された位置に基づいてDNDから類似した過去の状態を検索し、動的状態を前方に伝搬することで長期予測を実行する。
• エージェントの軌道に伴う動画シーケンスと対応する行動シーケンスを用いて、モデルをエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 空間記憶を備えた生成モデルは、部分観測された3次元環境において一貫性のある長期予測を達成できるか？
• RQ2 動的状態と視覚的表現を分離することで、標準的なRNNと比較してスケーラビリティと学習安定性が向上するか？
• RQ3 注意機構を必要としない非パラメトリック記憶（DND）は、複雑な空間時系列モデリングにおいてパラメトリック記憶アドレッシングを上回る性能を示せるか？
• RQ4 複数の部屋や複雑なテクスチャを有するより大きな環境へ、モデルの一般化能力はどの程度達成できるか？
• RQ5 1回の探索フェーズの後、ゼロショット予測においてどの程度の性能を示すか？

主な発見

• GTM-SMモデルは、1部屋の3次元環境において最大300ステップにわたって一貫性のある視覚的予測を生成でき、壁や床の再構成が正確に行われた。
• 297ステップにわたるエージェントの位置変位予測において高い精度を達成し、強力な長期的動的状態モデリングを示した。
• 合計450ステップにわたる複数部屋の環境でも、一貫性のあるテクスチャおよび構造的生成を維持しており、単一部屋を超えたスケーラビリティを示した。
• 複雑な物体のテクスチャを正しくレンダリングできないことから、VAEベースの視覚的表現学習には、多様性の高い視覚パターンに対応する限界があることが示唆された。
• 学習された記憶アドレッシング機構が存在しないため、Gemiciら（2017）の先行モデルと比較して、より高速かつ安定した学習が可能であった。
• 真の位置変位に回帰損失を適用した状態空間モデルの使用により、遷移の正確性と長期予測の忠実度が顕著に向上した。