[論文レビュー] Scene Memory Transformer for Embodied Agents in Long-Horizon Tasks

Kuan Fang, Alexander Toshev+2 more|arXiv (Cornell University)|Mar 9, 2019

Multimodal Machine Learning Applications参考文献 51被引用数 17

ひとこと要約

本稿では、視覚ナビゲーションにおける長時間スパンの依存関係をモデル化するために、過去の観測の集合に対する自己注意を用いる記憶ベースの強化学習方策、Scene Memory Transformer (SMT) を提案する。SMT は固定サイズの状態圧縮を必要とせず、スケーラブルで注意駆動の記憶アクセスを活用することで、反応型およびRNNベースの方策よりも、ローミング、カバレッジ、サーチの各タスクで優れた性能を発揮する。

ABSTRACT

Many robotic applications require the agent to perform long-horizon tasks in partially observable environments. In such applications, decision making at any step can depend on observations received far in the past. Hence, being able to properly memorize and utilize the long-term history is crucial. In this work, we propose a novel memory-based policy, named Scene Memory Transformer (SMT). The proposed policy embeds and adds each observation to a memory and uses the attention mechanism to exploit spatio-temporal dependencies. This model is generic and can be efficiently trained with reinforcement learning over long episodes. On a range of visual navigation tasks, SMT demonstrates superior performance to existing reactive and memory-based policies by a margin.

研究の動機と目的

• 過去の観測が現在の行動に強く影響を与える部分的に観測可能な未確認環境における長時間スパン意思決定の課題に対処すること。
• 長期間にわたる空間的・時間的依存関係を捉える際に、RNN や固定構造の記憶モデルに見られる限界を克服すること。
• 個々の観測埋め込みを保持し、注目によって集約を延期する、柔軟でスケーラブルな記憶メカニズムを設計すること。
• 長時間スパンのナビゲーションタスクにおける方策ネットワークにおいて、RNN の代わりに注目メカニズムがどのように機能するかを実証すること。

提案手法

• 各観測（画像、深度、ポーズ、行動）を、エピソード長に比例して線形に増加するシーン記憶に別々の埋め込みとして格納する。
• 現在の観測に基づいて、シーン記憶上のマルチヘッド自己注意を適用するトランスフォーマーに基づく方策ネットワークを用いて行動を計算する。
• 記憶サイズがしきい値を超えた場合に、2次関数的計算複雑性を線形に削減するための記憶因子化を適用する。
• 経験再生とターゲットネットワークを用いて、エンドツーエンドでSMT方策を訓練する。
• RGB画像、深度マップ、エージェントポーズ、および前回の行動を含むマルチモーダル入力を観測埋め込みに統合する。
• 記憶の前処理として、視覚トランスフォーマーのエンコーダーを用いて視覚入力を処理し、豊富な空間的・時間的特徴を抽出する。

実験結果

リサーチクエスチョン

• RQ1 注目ベースの記憶メカニズムは、RNNベースおよび反応型方策を上回る性能を発揮するか？
• RQ2 シーン記憶のサイズは、さまざまなナビゲーションタスクにおける性能にどのように影響するか？
• RQ3 観測モダリティ（例：深度、RGB、ポーズ、行動）のうち、SMTの性能に最も寄与するのはどれか？
• RQ4 トランスフォーマーに基づく注目メカニズムは、再帰的または地図ベースの記憶と比較して、長期間の依存関係モデリングをどの程度改善するか？
• RQ5 記憶因子化は、大規模記憶環境において計算コストを削減しつつ、性能を維持できるか？

主な発見

• SMT は、ローミング、カバレッジ、サーチの3つのタスクにおいて、反応型方策およびLSTMベースのベースラインを顕著に上回り、成功確率と経路効率の両面で一貫した向上を示す。
• 記憶容量が大きくなるほど性能が向上する—特にカバレッジおよびサーチタスクで顕著—SMT が長時間スパンの記憶を効果的に活用できることを示している。
• 深度画像、ポーズ、および直前の行動が最も重要なモダリティである。これらの除去により、性能が著しく低下する（例：サーチタスクで15–20ポイントの報酬低下）。
• 視覚エンコーダーの貢献は顕著で、最も複雑なサーチタスクにおいて23.7ポイントの性能向上をもたらし、特徴抽象化におけるその役割を強調している。
• 記憶因子化により、計算複雑性を2次関数的から線形に削減でき、大規模記憶の利用を性能劣化なしに可能にした。
• 定性的な分析から、SMT は、特に部屋の入れ替えやターゲット探索行動において、よりコンactで直接的な経路を生成し、衝突を減らし、探索効率を高めていることが分かった。