[論文レビュー] Enabling Robots to Understand Incomplete Natural Language Instructions Using Commonsense Reasoning

Haonan Chen, Hao Tan+3 more|arXiv (Cornell University)|Apr 29, 2019

Topic Modeling参考文献 73被引用数 5

ひとこと要約

本稿では、言語モデルを活用した常識的推論（LMCR）を提案する。LMCRは、自然言語指示の不完全な部分を、動詞フレームに分解し、環境的文脈とウェブ規模のコーパスで微調整された言語モデルを用いて欠落した意味的役割を補完することで、ロボットが不完全な自然言語指示を解釈できるようにする。LMCRは、『私に水を注いで』のような目的語の欠落を高精度に解消する。これは、テキストデータから抽出された常識的知識を活用しており、模擬環境および実ロボットタスクの両方で高い性能を示している。

ABSTRACT

Enabling robots to understand instructions provided via spoken natural language would facilitate interaction between robots and people in a variety of settings in homes and workplaces. However, natural language instructions are often missing information that would be obvious to a human based on environmental context and common sense, and hence does not need to be explicitly stated. In this paper, we introduce Language-Model-based Commonsense Reasoning (LMCR), a new method which enables a robot to listen to a natural language instruction from a human, observe the environment around it, and automatically fill in information missing from the instruction using environmental context and a new commonsense reasoning approach. Our approach first converts an instruction provided as unconstrained natural language into a form that a robot can understand by parsing it into verb frames. Our approach then fills in missing information in the instruction by observing objects in its vicinity and leveraging commonsense reasoning. To learn commonsense reasoning automatically, our approach distills knowledge from large unstructured textual corpora by training a language model. Our results show the feasibility of a robot learning commonsense knowledge automatically from web-based textual corpora, and the power of learned commonsense reasoning models in enabling a robot to autonomously perform tasks based on incomplete natural language instructions.

研究の動機と目的

• ロボットが常識的知識と環境的文脈に依存する不完全な自然言語指示を理解できるようにすること。
• 指示に欠落した意味的役割を自動で特定し、周辺の物体と常識的知識を用いて補完する手法を開発すること。
• 大量の非構造的テキストから常識的推論を学べる言語モデルを、手作業による大量アノテーションなしに訓練すること。
• 模擬環境と実ロボット（Baxter）の両方でシステムを評価し、現実世界への適用可能性を検証すること。
• ウェブコーパスで事前学習された言語モデルが、日常的なタスクにおけるロボットの指示理解を効果的に支援できることを実証すること。

提案手法

• 自然言語指示を、動詞（述語）と意味的役割（例：主題、目的先）から成る構造化された動詞フレームに分解し、欠落した引数にはプレースホルダーを設ける。
• 大規模なテキストコーパス（例：YouCook2, NYC）で学習されたニューラル言語モデルを用い、欠落した役割の候補補完確率を推定する。
• 物理的妥当性を保証するため、候補の補完候補をロボットの周囲に検出された物体に制限する。
• 妥当性閾値λを適用して信頼度が低い予測をフィルタリングし、システムのロバスト性を向上させる。
• 文ベースとフレームベースの線形化戦略を用いて言語モデルを訓練し、エンドツーエンド学習が可能である文ベース学習が優れた性能を示した。
• 音声認識、物体検出、運動計画モジュールを統合したロボットシステムにLMCRパイプラインを組み込み、リアルタイム実行を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ロボットは、意味的役割の欠落によって不完全になった自然言語指示を自動で検出できるか？
• RQ2 ウェブ規模のテキストで学習された言語モデルは、環境的文脈を用いてロボットの指示における欠落引数を効果的に推定できるか？
• RQ3 LMCRの性能は、タスクの複雑さの異なるレベルで、ベースライン手法と比較してどうなるか？
• RQ4 料理データセットなど多様で大規模なコーパスで学習することで、手作業でアノテートされたデータセットよりも常識的推論が向上するか？
• RQ5 誤差物体の数や妥当性閾値の変化に対して、システムの性能はどの程度ロバストか？

主な発見

• LMCRは、全テスト設定においてすべてのベースライン手法を上回る全体的な正確性を達成し、不完全な指示における欠落引数の解消率が最も高かった。
• k=6、λ=1.0の条件下で、人間がアノテートしたテストセットにおいて全体の正確性が87.2%に達し、次に優れた手法よりも10ポイント以上も優れていた。
• 文ベースの言語モデル学習戦略がフレームベースの学習を上回り、87.2%の正確性を達成した（フレームベースは82.1%）。これは、希少な動詞の処理が優れており、誤差の伝搬も抑えられたためである。
• YouCook2とNYCの両データセットを組み合わせて学習した場合、YouCook2単体での学習より性能が向上した。これは、より大規模でノイズの多いデータセットでも、適切なモデリングにより推論性能が向上することを示している。
• Baxterロボット上で、『私に水を注いで』のような音声入力による不完全な指示を実際に実行できたことから、現実世界での実用性が実証された。
• 感度分析の結果、1つのシナリオに含まれる物体数が4から40に増加しても、LMCRは高い正確性を維持した。これは、環境の複雑さに対してもロバストであることを示している。