[論文レビュー] Learning a natural-language to LTL executable semantic parser for grounded robotics

Christopher Wang, Candace Ross+3 more|arXiv (Cornell University)|Aug 7, 2020

Natural Language Processing Techniques被引用数 6

ひとこと要約

本論文は、文脈付きの文と軌道のペアとLTL実行エンジンのみを用いて、自然言語命令を実行可能な線形時相論理（LTL）論理式にマッピングする弱教師付きで根拠付けられた意味解析器を提案する。生成器による入力再構成、実行エンジンによる行動検証、文法的制約を組み合わせることで、人為的ラベルが付与されたLTL式がなくても、潜在的な言語的構造を発見する。人間が生成した命令および機械が生成した命令の両方で約80％の実行精度を達成しており、人間の入力における高レベルの語彙的・構文的多様性にもかかわらず、優れた一般化性能を示している。

ABSTRACT

Children acquire their native language with apparent ease by observing how language is used in context and attempting to use it themselves. They do so without laborious annotations, negative examples, or even direct corrections. We take a step toward robots that can do the same by training a grounded semantic parser, which discovers latent linguistic representations that can be used for the execution of natural-language commands. In particular, we focus on the difficult domain of commands with a temporal aspect, whose semantics we capture with Linear Temporal Logic, LTL. Our parser is trained with pairs of sentences and executions as well as an executor. At training time, the parser hypothesizes a meaning representation for the input as a formula in LTL. Three competing pressures allow the parser to discover meaning from language. First, any hypothesized meaning for a sentence must be permissive enough to reflect all the annotated execution trajectories. Second, the executor -- a pretrained end-to-end LTL planner -- must find that the observe trajectories are likely executions of the meaning. Finally, a generator, which reconstructs the original input, encourages the model to find representations that conserve knowledge about the command. Together these ensure that the meaning is neither too general nor too specific. Our model generalizes well, being able to parse and execute both machine-generated and human-generated commands, with near-equal accuracy, despite the fact that the human-generated sentences are much more varied and complex with an open lexicon. The approach presented here is not specific to LTL: it can be applied to any domain where sentence meanings can be hypothesized and an executor can verify these meanings, thus opening the door to many applications for robotic agents.

研究の動機と目的

• ロボットが文脈における言語使用の観察を通じて、人間の言語習得を模倣して自然言語命令の意味を学習することを可能にすること。
• 手動でラベル付けされたLTL式を必要とせずに、線形時相論理（LTL）の意味論を必要とする時間的に複雑な命令を解析する課題に対処すること。
• 最小限の監視情報から、一般化可能な実行可能な意味表現を学習するフレームワークを構築すること。このフレームワークは、分野や形式的記法にかかわらず適用可能である。
• 形式的記法と完全に一致しない可能性のある多様でオープンボキャブラリーな人間が生成した命令に対して、モデルの一般化能力を評価すること。
• 実行結果とプランナからの弱教師信号のみを用いて、モデルが潜在的な言語的構造を発見し、実行可能な命令を生成できるかどうかを検討すること。

提案手法

• 意味解析器は、各入力文に対して文法的に有効なLTL論理式を意味表現として生成する。
• 事前学習済みのエンドツーエンドLTLプランナ（実行エンジン）が、仮定されたLTL論理式の下で観測されたロボットの軌道が妥当であるかを評価する。
• 系列対系列生成器がLTL論理式から元の文を再構成することで、知識保持と意味の整合性を促進する。
• モデルは、文法的有効性、実行の可能性、再構成精度を統合した共同損失関数により学習される。
• 観測された軌道のカバレッジ、実行エンジンにおける行動の妥当性、再構成の忠実度という3つの競合する要因が、過剰または不十分な指定を避けるようにモデルを導く。
• 本アプローチはモジュラーである。LTL（前処理）と実行エンジンを他の形式的記法に置き換えることで、他の形式的記法に対しても適応可能であり、アーキテクチャの他の部分はそのままである。

実験結果

リサーチクエスチョン

• RQ1 人為的ラベルが付与されたLTLの監視情報がなくても、意味解析器は自然言語命令を実行可能なLTL論理式にマッピングできるか？
• RQ2 構文的・語彙的に多様な人間が生成したオープンボキャブラリーな命令に対して、モデルの一般化性能はどの程度高いか？
• RQ3 形式的記法が入力言語を完全に捉えていなくても、モデルが潜在的な言語的構造をどの程度発見できるか？
• RQ4 実行フィードバック、再構成、文法的制約の組み合わせが、教師ありベースラインと比較して学習をどの程度改善するか？
• RQ5 明示的な言語的知識やドメイン固有の知識がなくても、実世界の非構造的で人間が生成した言語に対して、モデルは高い実行精度を達成できるか？

主な発見

• 人間が生成した命令および機械が生成した命令の両方で、モデルは約80％の実行精度を達成しており、人間の入力における高い語彙的・構文的多様性にもかかわらず、優れた一般化性能を示している。
• 機械が生成したデータセットでは、モデルは80％の実行精度に達しており、完全に教師ありのアプローチ（95％）よりわずかに低いが、真のLTLラベルが不要である。
• 教師ありモデルと弱教師ありモデルの間の性能差は、実行精度でたった5〜10％にとどまり、弱教師ありのパラダイムの有効性を示している。
• 生成器部のおかげで性能が1〜4％向上し、IML+generatorの構成が最も優れた性能を示した。
• 1文あたり3例のデータでも、モデルは80％の実行精度を達成しており、7例に増やすと正確な式一致率が2％から14％に上昇する。これは、データ不足に対しても強い耐性を示している。
• 形式的記法の限界にもかかわらず、モデルはテスト環境で人間が生成した命令の約43％を正しく解析・実行でき、80％の受容率を達成しており、言語的多様性に対して強い耐性を示している。