[論文レビュー] Where are the Keys? -- Learning Object-Centric Navigation Policies on Semantic Maps with Graph Convolutional Networks

Niko Sünderhauf|arXiv (Cornell University)|Sep 16, 2019

Multimodal Machine Learning Applications参考文献 32被引用数 8

ひとこと要約

本論文では、FastText語ベクトルを用いた意味的類似性を活用することで、未マップ化された移動可能な物体（例：キーホルダー、リモコン）を意味的マップ上でロボットが特定するためのグラフ畳み込みネットワーク（GCN）ベースのナビゲーション方策を提案する。この方策は、未学習の物体クラスや環境に対しても一般化でき、性能低下が最小限に抑えられ、新環境での成功率が96%に達し、未学習クラスではほぼオラクル性能を達成する。これは、サンプル効率を向上させるために代理タスクで事前学習を行うことで実現された。

ABSTRACT

Emerging object-based SLAM algorithms can build a graph representation of an environment comprising nodes for robot poses and object landmarks. However, while this map will contain static objects such as furniture or appliances, many moveable objects (e.g. the car keys, the glasses, or a magazine), are not suitable as landmarks and will not be part of the map due to their non-static nature. We show that Graph Convolutional Networks can learn navigation policies to find such unmapped objects by learning to exploit the hidden probabilistic model that governs where these objects appear in the environment. The learned policies can generalise to object classes unseen during training by using word vectors that express semantic similarity as representations for object nodes in the graph. Furthermore, we show that the policies generalise to unseen environments with only minimal loss of performance. We demonstrate that pre-training the policy network with a proxy task can significantly speed up learning, improving sample efficiency.

研究の動機と目的

• 従来のSLAMシステムが追跡しない非静的かつ未マップ化された物体（例：キーホルダー、リモコン）を、家庭環境でナビゲートする課題に対処すること。
• 語ベクトル表現を用いた意味的類似性を活用することで、未学習の物体クラスに対しても一般化可能なナビゲーション方策を開発すること。
• 代理タスクによる事前学習を導入することで、強化学習におけるサンプル効率を向上させること。
• 異なる物体配置分布とグラフ構造を持つ新環境における一般化性能を評価すること。

提案手法

• 本手法は、ポーズノードと静的物体ランドマークを含むグラフベースの意味的マップを用い、ノードがロボットのポーズと静的物体を表し、エッジが空間的および意味的関係を符号化するグラフとして表現される。
• グラフ畳み込みネットワーク（GCN）が方策ネットワークとして機能し、グラフを処理してナビゲーションのためのポーズノードの確率分布を出力する。
• 物体クラスはFastText語ベクトルを用いて埋め込みられ、意味的類似性を捉えることで、未学習の物体カテゴリへのゼロショット一般化を可能にする。
• 方策は、ターゲット物体への距離に応じた報酬とスパarselyな密集報酬を組み合わせた報酬形状を用いた強化学習により訓練される。
• 代理タスクとして、意味的文脈に基づく物体配置確率の予測が、GCNの事前学習に用いられ、下流の方策学習の加速が図られる。
• 一般化性能は、異なる物体配置分布とグラフ構造を持つ新環境で方策をテストすることで評価される。

実験結果

リサーチクエスチョン

• RQ1 GCNベースの方策は、静的ランドマークとポーズノードからなる意味的マップのみを用いて、非静的かつ未マップ化されたターゲットオブジェクトにナビゲートする能力を学習できるか？
• RQ2 語ベクトルによる意味的類似性に依存する場合、トレーニング中に見られなかった物体クラスへの一般化性能はどの程度高いか？
• RQ3 代理タスクでの事前学習が、ナビゲーションタスクにおけるサンプル効率と最終的な性能にどの程度寄与するか？
• RQ4 新環境における環境レイアウトや物体配置分布の変化に対して、方策はどの程度頑健か？
• RQ5 異なるグラフトポロジーや確率的物体配置ルールを持つ完全に新しい環境に対しても、方策は一般化可能か？

主な発見

• 新環境では96%の成功率を達成し、トレーニング環境の99%からわずかに低下するにとどまり、新しいレイアウトや物体配置分布への一般化性能が顕著に高いことが示された。
• 代理タスクによる事前学習により、新環境におけるターゲット到達までの平均ステップ数が2.39から2.0に減少し、サンプル効率の向上と収束速度の向上が裏付けられた。
• 未学習の物体クラスへの一般化は効果的に達成された：意味的に類縁する未学習オブジェクト（例：バター、ヨーグルト）に対しては、オラクル方策とほぼ同等の性能を示し、大多数のクラスで90%を超える成功率を達成した。
• ランダムサーチと比較して大幅に優れた性能を示し、新環境では96%の成功率を達成した一方、ランダムナビゲーションではたった30%にとどまった。
• FastText語ベクトルの使用により、未学習の物体クラスへのゼロショット一般化が可能になったが、トレーニングデータに意味的近傍物が存在しないクラス（例：スマートフォン）を除いては同様に有効であった。
• 方策の性能はグラフ構造やレイアウトの変化に対して頑健であったため、特定の環境を記憶するのではなく、不変で文脈に適応したナビゲーション戦略を学習していることが示された。