[論文レビュー] A Deep Architecture for Semantic Parsing

Edward Grefenstette, Phil Blunsom+2 more|arXiv (Cornell University)|Apr 29, 2014

Natural Language Processing Techniques参考文献 18被引用数 11

ひとこと要約

本稿では、構文解析に依存せずに自然言語からオントロジー固有のデータベースクエリを直接生成する、画期的な深層学習アーキテクチャを提案する。文とクエリの埋め込みを共同で学習する二国語組成的文モデル（BiCVM）と、対数線形条件付きニューラル言語モデル（CNLM）を組み合わせることで、生のテキストから構造化クエリをエンドツーエンドで生成可能となり、特に未知語、不正な入力、低リソース言語入力に対して顕著に効果的である。

ABSTRACT

Many successful approaches to semantic parsing build on top of the syntactic analysis of text, and make use of distributional representations or statistical models to match parses to ontology-specific queries. This paper presents a novel deep learning architecture which provides a semantic parsing system through the union of two neural models of language semantics. It allows for the generation of ontology-specific queries from natural language statements and questions without the need for parsing, which makes it especially suitable to grammatically malformed or syntactically atypical text, such as tweets, as well as permitting the development of semantic parsers for resource-poor languages.

研究の動機と目的

• 従来の構文解析やルールベースの再書き換えを回避する意味解析システムの開発。
• 分散表現のみを用いて、自然言語から知識ベースクエリをエンドツーエンドで生成すること。
• SNSテキストなど、構文的に不規則な言語や低リソース言語における意味解析を支援すること。
• 二つの深層学習モデル（BiCVM と CNLM）を統合的な生成フレームワークとして意味解析に統合すること。
• 自然言語質問と形式的クエリの並列コーパスを用いてモデルを学習し、未観測入力への頑健な一般化を可能にすること。

提案手法

• ノイズ対比目的関数を用いて、二国語組成的文モデル（BiCVM）により、自然言語質問と知識ベースクエリの分散表現を同時に学習する。
• BiCVM は、構成関数 g と h を用いて質問の語とクエリの記号を共有の潜在空間にマッピングし、意味的に整合するペア間の距離を最小化する。
• 対数線形条件付きニューラル言語モデル（CNLM）を、質問の潜在表現に条件付けられた構造化クエリの生成に訓練する。
• システムは二段階の訓練プロセスを経る：まず BiCVM が質問-クエリペアの並列コーパスから対応する埋め込みを学習し、次に CNLM が質問の潜在表現とそれに対応するクエリを用いて訓練される。
• 単語および記号の埋め込みは、事前学習モデル（例：skip-gram や関係抽出埋め込み）から初期化可能であり、性能向上に寄与する。
• 最終的なモデルは、BiCVM の潜在表現を CNLM の入力として統合し、生の入力から形式的クエリを直接生成可能にする。

実験結果

リサーチクエスチョン

• RQ1 構文解析を一切行わず、分散表現に基づく純粋なニューラルネットワークモデルが、自然言語から正確な知識ベースクエリを生成できるか？
• RQ2 BiCVM を用いた文とクエリの埋め込みの共同学習が、ゼロショットまたは低リソースの意味解析性能を向上させられるか？
• RQ3 質問の学習済み潜在表現に条件付けられたニューラル言語モデルが、より正確で一般化可能なクエリ生成を実現できるか？
• RQ4 このアーキテクチャは、ツイートや標準でない言語など、構文的に不規則な入力や未知語を含む入力に対処できるか？
• RQ5 このモデルは、Freebaseクエリにとどまらず、ラムダ式などの他の形式的言語表現にも一般化可能か？

主な発見

• 従来の構文的および論理的コンponentsに代わって深層ニューラルネットワークと分散表現を用いることで、エンドツーエンドの意味解析が実現された。
• BiCVM 構成部は、明示的な構文解析を伴わずとも、自然言語質問と形式的データベースクエリの間で整合的な潜在表現を学習できた。
• CNLM 構成部は、質問の潜在的意味表現に条件付けられた構造化クエリの生成を効果的に実行でき、直接的なクエリ生成を可能にした。
• 二段階の訓練プロセスにより、埋め込みと生成コンponentsの効果的な共同最適化が可能となり、頑健性と一般化性能が向上した。
• 構文ルールではなく分散表現に依存しているため、低リソース言語やノイズの多い入力に対しても適している。
• このモデルは、ラムダ計算表現などの他の形式的言語表現の生成にも拡張可能であり、知識ベースクエリ生成を超えた幅広い応用可能性を示唆している。