[論文レビュー] Robot-Initiated Specification Repair through Grounded Language Interaction

Adrian Boteanu, Jacob Arkin+3 more|arXiv (Cornell University)|Oct 3, 2017

Robot Manipulation and Learning参考文献 18被引用数 14

ひとこと要約

本稿では、形式的合成と意味的な自然言語インタラクションを用いて、現実に実現できないタスク仕様を解消するロボット主導の仕様修復フレームワークを提示する。LTL仕様から環境仮説を生成し、自然言語でユーザーに承認または拒否を求めることで、曖昧または不完全な指示を事前に是正し、反復的な人間-ロボット協働によって動的環境におけるタスク実行成功率を向上させる。

ABSTRACT

Robots are required to execute increasingly complex instructions in dynamic environments, which can lead to a disconnect between the user's intent and the robot's representation of the instructions. In this paper we present a natural language instruction grounding framework which uses formal synthesis to enable the robot to identify necessary environment assumptions for the task to be successful. These assumptions are then expressed via natural language questions referencing objects in the environment. The user is prompted to confirm or reject the assumption. We demonstrate our approach on two tabletop pick-and-place tasks.

研究の動機と目的

• 不完全または曖昧なタスク記述によるロボットの自然言語指示の誤解を解消する課題に対処すること。
• 成功したタスク実行を妨げる仕様の矛盾をロボットが能動的に同定・解消できることを可能にすること。
• 物理的対象に関する自然言語質問を通じて、抽象的な論理的仮説を意味的に根拠付けた人間-ロボットインタラクションを促進すること。
• ユーザーの環境仮説に関するフィードバックを組み込むことで、仕様の正確性とタスク実行成功率を向上させること。
• Baxterロボットとシミュレーテッド環境を用いて、現実世界のピックアンドプレースタスクにおいてフレームワークを実証すること。

提案手法

• 事前学習済みのV-DCGモデルを用いて、自然言語指示（NLI）を線形時系列論理（LTL）仕様に変換する。
• 形式的合成を適用してLTL仕様が実現可能かどうかを確認し、実現不可能な場合はその原因を同定する。
• 問題を引き起こす環境行動を制限する、実現不可能な仕様から環境仮説を抽出する。
• 物理的対象（例：「赤いキューブは常にボックスの中にあるか？」）を参照する自然言語質問にこれらの仮説を翻訳し、ユーザーの承認を得る。
• 音声認識およびテキスト対音声パイプラインを用いて、実物ロボットでの音声インタラクションを可能にする。
• ユーザーが承認した仮説を再び合成に用い、検証済みかつ実行可能なコントローラーを生成する。

実験結果

リサーチクエスチョン

• RQ1 自然言語指示における仕様の矛盾がタスク実行の非実現性を引き起こす場合、ロボットはどのようにしてそれを検出し、是正できるか？
• RQ2 抽象的な論理的仮説を、環境に関する人間が理解可能な自然言語クエリに効果的に翻訳する方法は何か？
• RQ3 専門知識を要しないユーザーでも、ロボット主導の意味的な言語インタラクションによって、仕様の正確性とタスク実行成功率を向上させられるか？
• RQ4 相互に依存する複数ステップのタスクにおいて、システムはどのようにして仕様修復を処理するか？
• RQ5 このフレームワークは、異なる環境や指示コーパスにどの程度一般化可能か？

主な発見

• システムは、2つのテーブルトップタスク（整列と積み上げ）において、60件の自然言語指示のうち現実に実現できない仕様を正常に同定・是正した。
• 全コーパスで学習・テストした場合、V-DCGモデルは60件中42件（積み上げ17件、整列25件）の指示を回復した。別々に学習・テストした場合、積み上げタスクでは21件中19件、整列タスクでは39件中28件が完全に推論された。
• 共同コーパスにおける記号的要因の99.9872％をカバーし、言語的および物理的要素の強力な特徴表現を示した。
• ロボット主導のインタラクションフレームワークにより、仮説を文脈的に根拠付けた自然言語で表現することで、ユーザーの専門知識依存度が低下した。
• RGBDセンシング、運動計画、視覚サーボ制御を用いた実物Baxterロボットでも、本アプローチの実現可能性が示された。
• 16のシミュレーテッド環境における評価により、変動する環境条件下でも仕様修復プロセスの頑健性が確認された。