[論文レビュー] Bayesian Relational Memory for Semantic Visual Navigation

Yi Wu, Yuxin Wu+4 more|arXiv (Cornell University)|Sep 10, 2019

Multimodal Machine Learning Applications参考文献 62被引用数 7

ひとこと要約

本稿では、訓練環境からの意味的シーンレイアウトの事前知識を捉え、未確認の環境におけるテスト時ナビゲーションにおいて、効率的で適応的な計画を可能にする確率的関係的グラフメモリ、ベイジアン関係的メモリ（BRM）を提案する。意味的エンティティ（例：部屋タイプ）をノード、それらの「隣接」関係を学習された存在確率を有するエッジとしてモデル化することで、BRMはベイズ推論を用いて信念を更新し、部分的目標の計画を導く。これは、明示的な関係的メモリを備えないベースラインの深層強化学習エージェントと比較して、意味的ビジョナリィナビゲーションタスクにおける成功確率とサンプル効率を顕著に向上させる。

ABSTRACT

We introduce a new memory architecture, Bayesian Relational Memory (BRM), to improve the generalization ability for semantic visual navigation agents in unseen environments, where an agent is given a semantic target to navigate towards. BRM takes the form of a probabilistic relation graph over semantic entities (e.g., room types), which allows (1) capturing the layout prior from training environments, i.e., prior knowledge, (2) estimating posterior layout at test time, i.e., memory update, and (3) efficient planning for navigation, altogether. We develop a BRM agent consisting of a BRM module for producing sub-goals and a goal-conditioned locomotion module for control. When testing in unseen environments, the BRM agent outperforms baselines that do not explicitly utilize the probabilistic relational memory structure

研究の動機と目的

• 未知のレイアウトを有する未確認の環境でテストされた意味的ビジョナリィナビゲーションエージェントにおける一般化ギャップを解消すること。
• 空間的またはトポロジカルメモリなどの既存のメモリアーキテクチャが、事前レイアウト知識を欠き、テスト時探索中に動的信念更新を行えないという制限を克服すること。
• トレーニングデータから意味的関係的事前知識を符号化し、テスト時におけるベイズ推論を用いた効率的で適応的な計画を可能にするメモリ機構を開発すること。
• 意味的関係の事後確率に基づく部分的目標計画を通じてナビゲーション性能を向上させ、成功確率とサンプル効率の両方を向上させること。

提案手法

• ノードが意味的コンセプト（例：部屋タイプ）を表し、エッジがそれらの間の「隣接」空間的関係を表す確率的関係グラフを構築する。
• トレーニング環境全体における関係出現頻度の平均をとることで、エッジの存在確率（事前分布）を学習し、一般レイアウト知識を符号化する。
• テスト時探索中に、現在の環境における関係の存在を段階的に観測し、ベイズの定理を用いてエッジ確率を更新して事後信念を導出する。
• 事後関係グラフを用いて効率的なグラフ探索を実行し、ナビゲーションのための部分的目標を生成する。これによりエージェントは意味的ターゲットへ誘導される。
• 低レベル制御のためのゴール条件付きLSTMポリシーとBRMを統合し、深層強化学習によるエンドツーエンド学習を可能にする。
• 定期的（Nステップごと）に再計画を実行し、更新された事後信念を用いて新しい観測に適応し、経路効率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 訓練環境からの意味的関係的事前知識をモデル化するメモリアーキテクチャが、未確認のテスト環境におけるビジョナリィナビゲーションの一般化性を向上させることができるか？
• RQ2 テスト時探索中に関係グラフ上でベイズ信念更新を実行することで、ナビゲーション性能とサンプル効率にどのような影響を与えるか？
• RQ3 確率的関係を通じた事前レイアウト知識の統合が、ベースラインエージェントと比較して、ナビゲーションステップ数をどれほど削減し、成功確率をどれほど向上させるか？
• RQ4 意味的関係に基づくグラフベースの計画手法が、長時間にわたる部分観測ナビゲーションタスクにおいて、標準的なRNNベースのコントローラーを上回る性能を発揮できるか？
• RQ5 BRMベースのエージェントは、未確認の環境における再計画頻度や計画ホライズン長の変化に対して、どの程度頑健であるか？

主な発見

• 標準評価（H=1000, N=10）下で、BRMエージェントは41.1%の成功率と57.5‰のSPLを達成し、RNNコントローラーベースライン（37.0%の成功率、45.2‰のSPL）を顕著に上回った。
• 終了アクションを有効にした場合、BRMエージェントは17.3%の成功率と23.0‰のSPLを達成し、全評価エージェントの中で最高水準を示し、強力な自己終了能力を示した。
• 再計画インターバル（N）が大きくなると性能が低下するが、全テストされたN値（N=10, 30, 50）において、BRMはRNNコントローラーを一貫して上回った。
• 部分観測性および長時間ホライズン制約下でも、BRMエージェントはベースラインより優れた一般化性能を示し、成功確率とSPLの両方が高い水準を維持した。
• 意味的分類器を終了チェック用に使用することで実用的性能が向上し、BRMエージェントはこの分類器を効果的に活用してターゲット部屋で自己終了を実現した。