[論文レビュー] Object-oriented Targets for Visual Navigation using Rich Semantic Representations

Jean-Benoit Delbrouck, Stéphane Dupont|arXiv (Cornell University)|Nov 22, 2018

Multimodal Machine Learning Applications参考文献 9被引用数 4

ひとこと要約

本論文は、未確認の環境における一般化を向上させるために、豊富な意味的表現を用いたオブジェクト指向型の視覚的ナビゲーションフレームワークを提案する。自然言語と空間的グランドイングを用いてオブジェクト中心のターゲットでエージェントを訓練することで、ベースラインモデルと比較して、新しいターゲットやシーンにおいてより速い収束と優れたゼロショット一般化を達成する。特に、高信頼度の意味的フレームでファインチューニングされた場合に顕著である。

ABSTRACT

When searching for an object humans navigate through a scene using semantic information and spatial relationships. We look for an object using our knowledge of its attributes and relationships with other objects to infer the probable location. In this paper, we propose to tackle the visual navigation problem using rich semantic representations of the observed scene and object-oriented targets to train an agent. We show that both allows the agent to generalize to new targets and unseen scene in a short amount of training time.

研究の動機と目的

• 視覚的ナビゲーションの一般化を、意味的知識を用いて未確認のターゲットや環境に向上させること。
• 従来のモデルがシーン固有のファインチューニングに依存するという限界を克服し、シーンタイプに特化したポリシー・ヘッドを導入すること。
• 自然言語記述とオブジェクトロケーションを活用して、より豊かな環境理解を実現すること。
• 意味的事前知識が新しいターゲットおよび新しいシーンタイプへのゼロショット転送をどのように改善するかを評価すること。

提案手法

• モデルは、共有の視覚エンコーダー（ResNet-50）と、キッチン、寝室、バスルーム、リビングルームの4つのシーンタイプに特化したポリシー・ヘッドを備えたシアンプルネットワーク（SN）を用いる。
• トレーニングではオブジェクト指向のターゲットが使用され、エージェントはターゲットオブジェクトの意味的属性と空間的関係を学習する。
• 意味的コンポonentとして、視覚特徴とドレインスキャプション出力（DenseCap）を組み合わせ、1フレームあたり345次元の意味的ベクトルを生成する。
• 意味的入力は、学習された行列 $\bm{W}_{1^\prime}$ を通じて512次元の埋め込み空間に射影され、視覚特徴と統合されて統合表現が得られる。
• 成功は1000アクション以内にターゲットに到達した場合に定義され、スパarsely denseな報酬を用いた強化学習により、エンドツーエンドでモデルをトレーニングする。
• 変種（SSN_S）は、1シーンあたり5つの最も信頼度の高いDenseCapフレームで学習され、意味的グランドイングの品質が向上する。

実験結果

リサーチクエスチョン

• RQ1 オブジェクト指向のターゲットに豊富な意味的表現を組み合わせることで、既知のシーンにおける未確認のターゲットへのゼロショット一般化が向上するか？
• RQ2 DenseCapを用いた意味的グランドイングを組み込むことで、標準的な視覚のみのベースラインと比較して、未確認のシーンへの一般化が向上するか？
• RQ3 高信頼度の意味的フレームで学習する（SSN_S）ことと、標準的なオブジェクト指向ターゲットで学習する（SSN）ことの一般化性能にどのような差があるか？
• RQ4 シーンタイプに特化したポリシー共有は、同じシーンタイプの異なるインスタンス間での転送性をどの程度向上させるか？
• RQ5 意味的事前知識を用いることで、ランダムまたはオブジェクトに依存しないターゲットと比較して、収束が速くなり、成功確率が高くなるか？

主な発見

• 意味的モデル（SSN）は、タスクT2（未確認のシーンへの一般化）においてバスルームで94.1％の成功率を達成し、ベースラインSN（17.4％）および先行研究[12]（71.4％）を上回った。
• タスクT1（確認済みのシーンにおける未確認のターゲットへの一般化）では、SSNは寝室で61.9％、バスルームで92.4％、キッチンで31.5％、リビングルームで18.1％の成功率を示し、SNベースラインを著しく上回った。
• トップ意味的ターゲットで学習した（SSN_S）ことで、全シーンタイプで成功確率が向上し、寝室で66.2％、バスルームで94.1％を記録した。これは、高信頼度の意味的フレームが一般化を向上させることを示している。
• オブジェクト指向ターゲットで学習したモデル（SSN）は、ランダムターゲットよりも一般化が良く、未確認のターゲット（例：壁や通路などオブジェクトのないもの）に対しても収束が速く、成功確率が高かった。
• SSN_Sは、1シーンあたり5つの最も信頼度の高いDenseCapフレームで学習されたが、バスルームで94.1％の最高成功率を記録し、全シーンタイプで標準SSNよりも一貫した改善を示した。
• モデルはゼロショット転送において頑健であった：1シーンタイプあたり1つのインスタンスを除く1000万フレームのトレーニングデータでの学習でも、リビングルームで90.1％の成功率（T2）を達成し、強い一般化可能性を示した。