[論文レビュー] REVERIE: Remote Embodied Visual Referring Expression in Real Indoor Environments

Yuankai Qi, Qi Wu+5 more|arXiv (Cornell University)|Apr 23, 2019

Multimodal Machine Learning Applications参考文献 46被引用数 14

ひとこと要約

本論文は、実際の屋内環境におけるリモートエマーブド視覚的参照表現のための新しいベンチマーク、REVERIEを紹介する。エージェントは自然言語による指示に従い、3Dシーン内でターゲットオブジェクトを特定するためのナビゲーションを実行する必要がある。提案されたインタラクティブナビゲーターポインター・モデルは、テスト分割で16.18%の成功率を達成し、ベースラインを著しく上回っているが、人間の性能（77.84%）とはまだ大きくかけ離れており、未確認の環境におけるナビゲーションと参照表現の統合の難しさが浮き彫りになっている。

ABSTRACT

One of the long-term challenges of robotics is to enable robots to interact with humans in the visual world via natural language, as humans are visual animals that communicate through language. Overcoming this challenge requires the ability to perform a wide variety of complex tasks in response to multifarious instructions from humans. In the hope that it might drive progress towards more flexible and powerful human interactions with robots, we propose a dataset of varied and complex robot tasks, described in natural language, in terms of objects visible in a large set of real images. Given an instruction, success requires navigating through a previously-unseen environment to identify an object. This represents a practical challenge, but one that closely reflects one of the core visual problems in robotics. Several state-of-the-art vision-and-language navigation, and referring-expression models are tested to verify the difficulty of this new task, but none of them show promising results because there are many fundamental differences between our task and previous ones. A novel Interactive Navigator-Pointer model is also proposed that provides a strong baseline on the task. The proposed model especially achieves the best performance on the unseen test split, but still leaves substantial room for improvement compared to the human performance.

研究の動機と目的

• 未確認の屋内環境において、ロボットが高水準の自然言語指示を理解し、それに従って行動できるようにすること。
• 実世界の3Dシーンにおける視覚的ナビゲーションと正確なオブジェクトの位置特定を評価できるベンチマークを構築すること。
• 既存の視覚・言語モデルが、複雑でリモートかつエマーブドな参照タスクに適用された際の限界を調査すること。
• ナビゲーションと参照表現を統合的に最適化する新しいインタラクティブフレームワークを提案すること。

提案手法

• REVERIEデータセットは、Matterport3Dシミュレータに基づいて構築されており、90の建物にまたがる10,567枚のパノラマ写真と4,140個のアノテート済みオブジェクトを含む。
• 各指示は、出発視点から見えないリモートオブジェクトを指しており、識別するためには新たな位置にナビゲートする必要がある。
• ナビゲーターモジュールとポインター・モジュールが推論中に動的に相互作用する、新しいインタラクティブナビゲーターポインター・モデルを提案する。
• モデルはクロスアテンション機構を用い、ポインターがナビゲータの経路に条件づけられ、逆にナビゲータがポインターの出力を考慮することで、両者の共同最適化を可能にする。
• ベースラインには、シーケンス・トゥ・シーケンスモデル、最短経路ベースライン、最先端のナビゲーション（FAST）と参照表現（MAttNet）モデルの組み合わせが含まれる。
• 評価は、学習済みと未学習の分割で実施され、ナビゲーション後に正しいオブジェクトのバウンディングボックス予測が正解とされる。

実験結果

リサーチクエスチョン

• RQ1 既存の視覚・言語モデルは、未確認の屋内環境におけるリモートエマーブド参照表現タスクに一般化できるか？
• RQ2 視覚的ナビゲーションと参照表現を併用した場合、個別のタスクと比較してモデル性能にどのような影響を与えるか？
• RQ3 言語情報のみでREVERIEタスクを解ける程度はどの程度か。これは、データセットに言語的バイアスが存在する可能性を示唆する。
• RQ4 ナビゲーションと参照表現モジュール間のインタラクティブな学習が、全体の成功確率に与える影響は何か？
• RQ5 現在のモデル性能は、複雑な現実世界のナビゲーションと位置特定タスクにおける人間レベルの性能からどの程度離れているか？

主な発見

• ランダムベースラインはわずか1%の成功率にとどまり、タスクの解空間が非常に大きく複雑であることが示された。
• 最先端のナビゲーションと参照表現モデルを組み合わせた場合、未学習テスト分割で7.07%の成功率を記録し、人間の性能（77.84%）とは大きくかけ離れていた。
• 提案されたインタラクティブナビゲーターポインター・モデルは、テスト分割で16.18%の成功率を達成し、非インタラクティブなバージョンと比較して4.2%の向上を示した。
• 参照表現のみのベースラインモデルは、テスト分割で48.98%の精度を示したが、依然として人間性能から41.78%も低い結果であり、タスクの本質的な難易度がうかがえる。
• 言語のみのモデルは低性能であった（例：学習済み分割で16.18%）、視覚的位置特定が不可欠であり、データセットが言語的ヒントにバイアスされているとは考えにくい。
• 未学習分割では、従来のR2Rベンチマークと比較してナビゲーション性能が30%低下した。これは、タスクの難易度が著しく上昇していることを確認している。