[論文レビュー] The RobotSlang Benchmark: Dialog-guided Robot Localization and Navigation

Shurjo Banerjee, Jesse Thomason+1 more|arXiv (Cornell University)|Oct 23, 2020

Speech and dialogue systems被引用数 8

ひとこと要約

この論文では、自然言語を用いた物理的ロボットの局所化とナビゲーションを伴う169件のヒューマン・ヒューマン対話セッションから構成されるベンチマーク「RobotSlang」を紹介する。2つのタスク—対話履歴からの局所化（LDH）と対話履歴からのナビゲーション（NDH）—を提案し、現実世界の対話と視覚データで訓練されたシーケンス・ツー・シーケンスモデルが、ベースラインを上回り、学生強制（student forcing）の下でも頑健であることを示した。

ABSTRACT

Autonomous robot systems for applications from search and rescue to assistive guidance should be able to engage in natural language dialog with people. To study such cooperative communication, we introduce Robot Simultaneous Localization and Mapping with Natural Language (RobotSlang), a benchmark of 169 natural language dialogs between a human Driver controlling a robot and a human Commander providing guidance towards navigation goals. In each trial, the pair first cooperates to localize the robot on a global map visible to the Commander, then the Driver follows Commander instructions to move the robot to a sequence of target objects. We introduce a Localization from Dialog History (LDH) and a Navigation from Dialog History (NDH) task where a learned agent is given dialog and visual observations from the robot platform as input and must localize in the global map or navigate towards the next target object, respectively. RobotSlang is comprised of nearly 5k utterances and over 1k minutes of robot camera and control streams. We present an initial model for the NDH task, and show that an agent trained in simulation can follow the RobotSlang dialog-based navigation instructions for controlling a physical robot platform. Code and data are available at https://umrobotslang.github.io/.

研究の動機と目的

• シミュレーションベースの視覚・言語ナビゲーションベンチマークと現実世界のロボット実装の間のギャップを埋めるために、物理的ヒューマン・ロボット相互作用に基づいたデータセットを構築すること。
• 自然言語を用いて、現実の環境で協働的にロボットの局所化とナビゲーションを行う際の、人々の自然なコミュニケーション様式を調査すること。
• 物理的ロボットプラットフォームからの現実世界のセンサーおよび対話データを用いて、対話誘導型ナビゲーションのための学習ベースのモデルを開発・評価すること。
• 物理的実験から収集された人間生成対話データを活用することで、実ロボット制御のためのサンプル効率的で頑健な訓練を可能にすること。
• シミュレーションから現実世界への展開を支援するベンチマークを提供し、高価な現実世界データ収集への依存を減らすこと。

提案手法

• 1人の参加者（ドライバー）がラズベリー・パイとHDウェブカメラを搭載した物理的ロボットを制御し、もう1人の参加者（コマンダー）がウェブベースのチャットインターフェースを用いてナビゲーション指示を提供する、169件のヒューマン・ヒューマン対話セッションを収集する。
• 対話、ロボットのカメラ映像、制御命令、グローバルマップを同期・アノテートし、約5,000発話と1,000分以上のセンサデータを含むマルチモodalデータセットを構築する。
• 2つのベンチマークタスクを定義する：対話履歴からの局所化（LDH）では、対話と視覚入力を用いてロボットをグローバルマップ上に局所化する必要がある。ナビゲーションから対話履歴（NDH）では、対話履歴に基づいてターゲットオブジェクトへナビゲートする必要がある。
• 視覚的観測（RGBカメラ映像）と対話履歴を入力とし、真値ナビゲーション経路による教師付きで、NDHタスク用のシーケンス・ツー・シーケンスモデルを訓練する。
• 推論時の頑健性を向上させるために、訓練中に学生強制（student forcing）を適用し、主な評価指標としてトポロジカル距離（TD）を用いて性能を評価する。
• 視覚または言語モダリティを除去することで、アブレーションスタディを実施し、単一モダリティ性能を評価し、モダリティバイアスの可能性を特定する。

実験結果

リサーチクエスチョン

• RQ1 物理的ロボットプラットフォームからの対話履歴と視覚的観測のみを用いて、学習されたエージェントがグローバルマップ上でのロボットの局所化を正確に行えるか？
• RQ2 人間が生成した対話と現実世界のセンサデータで訓練されたモデルは、自然言語指示に従って物理的ロボットをターゲットオブジェクトへナビゲートできるか？
• RQ3 視覚と言語の両モダリティを含めることで、単一モダリティベースラインと比較して、対話誘導型ナビゲーションの性能にどのような影響を与えるか？
• RQ4 教師強制（teacher forcing）と比較して、訓練時に学生強制（student forcing）を適用することで、現実世界のナビゲーションタスクにおける一般化性と頑健性が向上するか？
• RQ5 シミュレーションデータで訓練されたモデルが、現実のヒューマン・ロボット対話データでファインチューニングされた場合、現実世界のロボット制御にどの程度一般化できるか？

主な発見

• NDHモデルは、ランダム行動および即時停止ベースラインを上回り、学生強制下で平均トポロジカル距離（TD）が3.27 ± 1.21メートルを達成し、ランダムベースライン（4.31 ± 1.28メートル）と比べ顕著に優れている。
• 視覚と言語の両方の入力を有する完全モデルは、単一モダリティのアブレーションよりも顕著に優れた性能を示し、視覚＋言語 vs. 視覚のみの比較でp値 < 0.05を達成しており、モダリティの補完的利用が示唆される。
• 訓練時に学生強制を適用することで、推論時の頑健性が向上し、完全モデルは学生強制下でTDが3.27 ± 1.28メートルを達成したのに対し、教師強制下では3.42 ± 1.06メートルであった。
• 視覚のみのモデルは、完全モデルと比べて有意に性能が劣らないため、視覚のみでも顕著なナビゲーションの手がかりを捉えているが、言語は曖昧さ解消に不可欠であることが示唆される。
• 視覚と言語の両方の入力にアクセスするモデルは、両単一モダリティモデルを統計的に上回り、視覚＋言語ではTDが3.68 ± 1.28メートル、言語のみでは3.76 ± 1.61メートル、視覚のみでは3.67 ± 1.56メートルを記録した。
• オラクルストッピングベースライン（最適な中間経路点を選択）はTDが3.16 ± 1.50メートルを達成しており、モデルの性能が理論的最良経路にまだ達していないことが示唆される。