[論文レビュー] Building a Neural Semantic Parser from a Domain Ontology

Jianpeng Cheng, Siva Reddy+1 more|arXiv (Cornell University)|Dec 25, 2018

Natural Language Processing Techniques参考文献 52被引用数 11

ひとこと要約

本論文は、意味表現から抽出した自然言語テンプレートを用いて訓練データを生成することで、ドメインオントロジーからニューラル意味解析器を構築するフレームワークを提案する。これらのテンプレートをクラウドソーシングで自然な発話に言い換えさせることで、ニューラル解析器が構成的ルール導出を学習でき、レストランやホテルのドメインにおける複雑でマルチターンのタスクで優れた性能を達成する。

ABSTRACT

Semantic parsing is the task of converting natural language utterances into machine interpretable meaning representations which can be executed against a real-world environment such as a database. Scaling semantic parsing to arbitrary domains faces two interrelated challenges: obtaining broad coverage training data effectively and cheaply; and developing a model that generalizes to compositional utterances and complex intentions. We address these challenges with a framework which allows to elicit training data from a domain ontology and bootstrap a neural parser which recursively builds derivations of logical forms. In our framework meaning representations are described by sequences of natural language templates, where each template corresponds to a decomposed fragment of the underlying meaning representation. Although artificial, templates can be understood and paraphrased by humans to create natural utterances, resulting in parallel triples of utterances, meaning representations, and their decompositions. These allow us to train a neural semantic parser which learns to compose rules in deriving meaning representations. We crowdsource training data on six domains, covering both single-turn utterances which exhibit rich compositionality, and sequential utterances where a complex task is procedurally performed in steps. We then develop neural semantic parsers which perform such compositional tasks. In general, our approach allows to deploy neural semantic parsers quickly and cheaply from a given domain ontology.

研究の動機と目的

• 新しいドメインや進化するドメインにおけるニューラル意味解析のための低コストで高カバレッジの訓練データを獲得する課題に対処すること。
• ニューラル意味解析器が構成的発話および複雑でマルチステップの人の意図に一般化できること。
• ドメインオントロジーを活用して、並列な発話、意味表現、およびその分解テンプレートを体系的に訓練データとして生成する手法を開発すること。
• 論理的ルールの構成を導出木を通じて明示的にモデル化するニューラル解析器を設計し、解釈可能性と一般化性能を向上させること。
• レストランやホテルなど多様なドメインにおける単ターンおよび逐次的マルチターン発話の両方でフレームワークを評価すること。

提案手法

• フレームワークは、ドメインオントロジーによって定義された形式的意味表現空間から出発し、構成的ルールを用いて論理的形を導出する。
• 各意味表現は、導出におけるルール適用に対応する一連の自然言語テンプレートに分解される。
• クラウドワーカーにこれらの人工的テンプレートを自然で流暢な発話に言い換えるよう依頼し、並列な三つ組（発話、意味表現、分解）を生成する。
• ニューラル意味解析器は、シーケンス・ツー・ツリー生成の枠組みでルールを段階的に組み合わせることで意味表現の導出木を予測するように学習する。
• モデルは、構成的構造を明示的にモデル化するシーケンス・ツー・デリバレーション（S2D）アーキテクチャを採用しており、エンドツーエンドのシーケンス・ツー・シーケンス手法よりも一般化性能が向上する。
• S2D Cを用いて文脈モデリングを検討し、単ターンおよびマルチターン対話（探索、マージ（和集合／積集合）、および関連のないタスクを含む）の両方でモデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 ドメインオントロジーを用いて、高品質で言い換え可能な訓練データを体系的に生成できるか？
• RQ2 テンプレートベースのデータで学習したニューラル解析器は、複雑な構成的意味表現を効果的に構成できるか？
• RQ3 導出木の明示的モデリングは、エンドツーエンドのシーケンス・ツー・シーケンス解析と比較して、構成的発話の処理にどのように寄与するか？
• RQ4 コアリファレンス、トピックのシフト、複雑な論理構造を含むマルチターン対話における解析器の性能はいかがなものか？
• RQ5 デコード段階での明示的文脈モデリングは、コアリファレンス発話の解析性能を向上させるか？

主な発見

• S2Dモデルは、すべてのドメインでS2SおよびS2Tベースラインを上回り、レストランドメインでは全体的な意味一致で73.6%のF1スコア、ホテルドメインでは73.7%を達成した。
• 解析器は探索構造および無関係構造で最も高い性能を示し、レストランドメインではそれぞれ78.6%および71.7%のF1スコアを記録した。これは、逐次的で共起しないタスクを効果的に処理できることを示している。
• マージ構造（和集合または積集合を含む）では顕著に低い性能を示し、レストランドメインではF1が34.5%にとどまり、複雑な論理的組み合わせの検出と構成に困難を抱えていることが示された。
• 文脈依存デコード（S2D C）はわずかな改善しかもたらさず、発話内の表面的ヒントがコアリファレンス解消に十分であることが示唆された。
• フレームワークにより、ドメインオントロジーから最小限の人的作業（テンプレートの言い換えを除く）でニューラル意味解析器の迅速な展開が可能になった。
• 本手法は、構造的導出学習を通じて複雑でマルチステップの人の意図を処理する能力を発揮し、マルチターン意味解析において最先端の結果を達成した。