[論文レビュー] Weakly-supervised Neural Semantic Parsing with a Generative Ranker

Jianpeng Cheng, Mirella Lapata|arXiv (Cornell University)|Aug 23, 2018

Natural Language Processing Techniques参考文献 48被引用数 3

ひとこと要約

本論文は、発話文から候補となる論理形式を生成し、実行正しさと意味的忠実性の両面でランク付けを行うロジスティック線形モデルを用いた弱教師付きニューラル意味解析器を提案する。本システムはスケジュールドトレーニングとニューラル語彙エンコーディングを用い、不適切な形式の影響を低減し、3つのFreebaseデータセットで最先端の性能を達成した。

ABSTRACT

Weakly-supervised semantic parsers are trained on utterance-denotation pairs, treating logical forms as latent. The task is challenging due to the large search space and spuriousness of logical forms. In this paper we introduce a neural parser-ranker system for weakly-supervised semantic parsing. The parser generates candidate tree-structured logical forms from utterances using clues of denotations. These candidates are then ranked based on two criterion: their likelihood of executing to the correct denotation, and their agreement with the utterance semantics. We present a scheduled training procedure to balance the contribution of the two objectives. Furthermore, we propose to use a neurally encoded lexicon to inject prior domain knowledge to the model. Experiments on three Freebase datasets demonstrate the effectiveness of our semantic parser, achieving results within the state-of-the-art range.

研究の動機と目的

• ゴールスタンダードの論理形式が入手できない状況下で、発話文-拡張ペアのみを用いてニューラル意味解析器を訓練する課題に対処する。
• 意味的に誤りであるが、偶然正しい拡張を生成する「不適切な論理形式」の影響を低減する。
• ニューラルでエンコードされた語彙を介して事前知識を統合することで、一般化性能とモデルの信頼性を向上させる。
• 最適化の過程で、実行正しさと意味的忠実性の2つの目的をバランスさせるスケジュールドトレーニング手順を用いて学習を安定化する。
• ニューラルシーケンス・ツリー生成と判別的ランク付けを統合したパーサ-ランカー枠組みを構築し、弱教師付き意味解析を実現する。

提案手法

• 双方向LSTMエンコーダーとスタックLSTMデコーダーを備えたシーケンス・ツリー指向ニューラルパーサーを用い、発話文から構文的に整合性があり実行可能な論理形式を生成する。
• 文法制約付きデコーディング処理を適用し、生成された論理形式がすべて構文的に妥当であり、知識ベースに対して実行可能であることを保証する。
• 実行による正しい拡張を生成する可能性をスコア化するロジスティック線形モデルを用いて、候補となる論理形式をランク付けする。
• 発話文の意味をどれだけ保っているかを推定する生成的逆パーサーを統合し、意味的忠実性の信号として機能させる。
• 最適化の過程で、実行正しさの目的と意味的忠実性の目的の寄与度を動的にバランスさせるスケジュールドトレーニング手順を実装する。
• 語彙をニューラルでエンコードし、潜在空間の正則化と一般化性能の向上を図り、特にリソースが限られた状況下でも効果を発揮する。

実験結果

リサーチクエスチョン

• RQ1 ゴールの論理形式が入手不可な状況下でも、発話文-拡張ペアのみを用いてパーサ-ランカー系が有効に学習できるか。
• RQ2 正しい拡張を生成するが意味的に誤りである「不適切な論理形式」は、弱教師付き学習の過程でどのように低減できるか。
• RQ3 ランク付け目的に実行正しさと意味的忠実性を統合することで、解析精度がどの程度向上するか。
• RQ4 複数の目的をバランスさせるスケジュールドトレーニングは、より安定的かつ効果的なモデル収束をもたらすか。
• RQ5 ニューラルでエンコードされた語彙は、潜在空間にドメイン固有の事前知識を組み込むことでモデル性能を向上させ得るか。

主な発見

• 提案されたパーサ-ランカー系は、WebQuestions、GraphQuestions、Spadesの3つのFreebaseベースの意味解析ベンチマークで最先端の性能を達成した。
• 生成的逆パーサーの導入により、意味的に誤りであるが拡張が正しい形式に対するスコアが顕著に低下し、不適切な形式への依存が著しく低減された。
• スケジュールドトレーニングにより、最適化の過程で実行正しさと意味的忠実性の目的を動的にバランスさせることで、モデルの安定性と性能が向上した。
• ニューラル語彙エンコーディングにより、潜在空間の正則化が図られ、特にリソースが限られた状況や未知語の状況下でも一般化性能が向上した。
• 本システムは多様なドメインにわたり高い頑健性を示し、実行ベースの監視に依存する従来の弱教師付きアプローチを上回った。
• アブレーションスタディの結果、逆パーサーとスケジュールドトレーニングの両方が性能向上に不可欠であり、それぞれが最終的な精度向上に顕著な寄与を示した。