[論文レビュー] Exploring Neural Models for Parsing Natural Language into First-Order Logic

Hrituraj Singh, Milan Aggarwal+1 more|arXiv (Cornell University)|Feb 16, 2020

Natural Language Processing Techniques参考文献 60被引用数 6

ひとこと要約

本稿では、英語文を一階論理（FOL）に変換するためのニューラル系列対系列モデルを提案する。このモデルは補助的なカテゴリ予測と可変アラインメントを備えており、述語の種別を分離し、述語間で変数の一貫性を保証することで、テストデータで72.42%のF1スコアを達成し、ベースラインを著しく上回り、入力の摂動に対しても頑健であることが示された。

ABSTRACT

Semantic parsing is the task of obtaining machine-interpretable representations from natural language text. We consider one such formal representation - First-Order Logic (FOL) and explore the capability of neural models in parsing English sentences to FOL. We model FOL parsing as a sequence to sequence mapping task where given a natural language sentence, it is encoded into an intermediate representation using an LSTM followed by a decoder which sequentially generates the predicates in the corresponding FOL formula. We improve the standard encoder-decoder model by introducing a variable alignment mechanism that enables it to align variables across predicates in the predicted FOL. We further show the effectiveness of predicting the category of FOL entity - Unary, Binary, Variables and Scoped Entities, at each decoder step as an auxiliary task on improving the consistency of generated FOL. We perform rigorous evaluations and extensive ablations. We also aim to release our code as well as large scale FOL dataset along with models to aid further research in logic-based parsing and inference in NLP.

研究の動機と目的

• 自然言語文を一階論理（FOL）表現に変換する汎用的でオープンドメインなニューラルパーサーを構築すること。
• ニューラル系列対系列学習を用いて、FOLにおける複雑な変数依存関係と述語関係をモデル化する課題に対処すること。
• デコード中にエンティティカテゴリ（単項、二項、変数、スコープ付きエンティティ）の補助的予測を導入することで、FOL生成の一貫性を向上させること。
• デコーダーの注目メカニズムに制約を課す専用のアラインメント機構を用いて、述語間での変数アラインメントを強化すること。
• 訓練中に変数名をランダムに並び替えることで、訓練データにおける単純なパターンの利用に対する耐性を評価すること。

提案手法

• LSTMエンコーダと自己回帰的デコーダを用いて、FOL解析を系列対系列タスクとして定式化する。
• 単項述語、二項述語、変数、スコープ付きエンティティという4つのFOLエンティティタイプのための別個の予測ヘッドを補助タスクとして導入する。
• 二項述語内の変数を、事前に生成された単項述語に明示的に関連付けることができる学習可能なアラインメント損失を備えた変数アラインメント機構を提案する。
• トークン因子分解を用いてFOL記号を表現し、予測されたエンティティタイプに条件づけて構造的なデコードを可能にする。
• 訓練時に、正解データ内の変数名をランダムに並び替える摂動戦略を適用し、モデルの頑健性をテストする。
• 標準的な注目メカニズムとビームサーチデコードを採用し、交差エントロピー損失とアラインメント監視を組み合わせた損失関数を用いる。

実験結果

リサーチクエスチョン

• RQ1 ニューラル系列対系列モデルは、自然言語から複雑なFOL式を効果的に生成する能力を有しているか？
• RQ2 FOLエンティティカテゴリの補助的予測は、生成された論理式の一貫性と正しさを向上させるか？
• RQ3 述語間での明示的な変数アラインメントは、FOL解析性能を著しく向上させるか？
• RQ4 提案されたモデルは、訓練データにおける分布シフトやパターンの利用に対してどれほど頑健か？
• RQ5 本モデルは、狭域のベンチマークにとどまらず、オープンドメインで多様な自然言語入力に一般化できるか？

主な発見

• 別個の予測ヘッドとアラインメントを備えた本モデルは、テストF1スコア72.42%を達成し、ベースライン（63.03%）を著しく上回った。
• 別個のヘッドとアラインメントを備えたモデルは、複雑な関係的文における変数バインディングや述語構造の誤りを低減し、複雑な関係文においても適合率と再現率が向上した。
• 本モデルは入力摂動に対して強く頑健である：変数名の並び替えに対して、ベースラインは急激に性能を落とすが、本モデルは高い性能を維持した。
• 補助的なカテゴリ予測タスクにより、FOL生成の一貫性が向上し、述語や変数の使用における文法的誤りが減少した。
• 変数アラインメント機構は、共有エンティティや相互関係を持つ文において、述語間の変数依存関係を効果的に捉えた。
• 明示的な構造的インダクティブバイアス（エンティティタイプの分離とアラインメント）が、ニューラルFOL解析を著しく向上させることを示唆している。