[論文レビュー] A Generative Parser with a Discriminative Recognition Algorithm

Jianpeng Cheng, Adam Lopez+1 more|arXiv (Cornell University)|Aug 1, 2017

Natural Language Processing Techniques参考文献 22被引用数 8

ひとこと要約

本論文は、エンコーダ・デコーダ設定において、生成的RNN文法（RNNG）と判別的認識モデルを統合する包括的なフレームワークを提案する。これにより、構文解析と言語モデル化の両方を同時に学習可能となる。変分推論と期待値最大化の解釈を用いることで、Penn Treebankにおける単一モデルの言語モデル化性能を最先端水準に達し、構文解析の性能も競争力を持つ。

ABSTRACT

Generative models defining joint distributions over parse trees and sentences are useful for parsing and language modeling, but impose restrictions on the scope of features and are often outperformed by discriminative models. We propose a framework for parsing and language modeling which marries a generative model with a discriminative recognition model in an encoder-decoder setting. We provide interpretations of the framework based on expectation maximization and variational inference, and show that it enables parsing and language modeling within a single implementation. On the English Penn Treen-bank, our framework obtains competitive performance on constituency parsing while matching the state-of-the-art single-model language modeling score.

研究の動機と目的

• 生成的モデルの制限を克服すること。特に、特徴に関する制限的な仮定と、間接的な学習目的による問題を解消する。
• 判別的認識モデルを生成的パーサーと統合することで、パーサーの精度を向上させつつ、生成的モデリングの能力を維持すること。
• 文法誘導、構文解析、言語モデル化を、1つのエンドツーエンドで学習可能なフレームワークに統合すること。
• 変分推論と期待値最大化に基づく、原理的で整合性のある学習目的を提供することにより、教師ありおよび弱教師あり学習を可能にすること。
• 単一のモデルアーキテクチャを用いて、構文解析で競争力のある性能と、言語モデル化で最先端のスコアを達成すること。

提案手法

• フレームワークは、文 $ x $ と、構文木を形成する遷移アクションの系列 $ a $ の同時確率 $ p(x, a) $ を生成的RNNGでモデル化する。
• 真の後方分布 $ p(a|x) $ の変分近似として、判別的認識モデル $ q(a|x) $ を導入する。これにより、効率的な推論と、パーサーの精度向上が可能になる。
• 学習目的は、下界の期待値（ELBO）から導出され、生成的モデル $ p(x,a) $ と判別的認識モデル $ q(a|x) $ を同時に最適化する。
• 認識モデルを介してバックプロパゲーションを実行することで、勾配降下法を用いたエンドツーエンド最適化が可能になる。
• Kingma et al. (2014) および Miao and Blunsom (2016) の手法に従い、ELBO目的関数に教師あり信号を組み込むことで、教師ありおよび教師なし学習をサポートする。
• 生成的モデルにより文全体への確率割り当てが直接可能であり、言語モデル化が実現される。一方、構文解析は判別的認識モデルを用いた後方分布推論によって実行される。

実験結果

リサーチクエスチョン

• RQ1 生成的・判別的モデルを統合した包括的フレームワークは、独立したモデルと比較して、構文解析と言語モデル化の両方の性能を向上させることができるか？
• RQ2 変分推論と期待値最大化は、構文解析における生成的・判別的コンポonentの共同学習をどのように解釈できるか？
• RQ3 提案されたフレームワークは、最先端の言語モデル化性能を達成しつつ、競争力のある構文解析精度を維持できるか？
• RQ4 判別的認識モデルの統合により、純粋な生成的RNNGと比較して、構文解析性能が顕著に向上するか？
• RQ5 勾配ベース最適化と後方正則化を用いて、教師なし文法誘導をフレームワークがサポートできるか？

主な発見

• 英語Penn Treebankにおいて、言語モデル化のperplexityが99.8に達し、単一モデルとしての最先端性能を達成した。
• 構文解析においても、標準的な生成的RNNGを上回り、統合された設定下で判別的モデルと同等の性能を示した。
• 判別的認識モデルの統合により、純粋な生成的RNNGベースラインと比較して、構文解析精度が顕著に向上した。
• 教師ありおよび教師なし学習をサポートし、後方正則化技術を用いた文法誘導の可能性を有する。
• 変分推論に基づく目的関数により、生成的および判別的コンポーネントの効果的かつ整合的な共同最適化が可能となり、判別的提案分布を用いた重要度サンプリングとは対照的に、原理的で優れた代替手法を提供する。
• Dyer et al. (2016) と比較して、重要度サンプリングに劣化した提案分布に依存せず、マージナル尤度を直接最適化することで、言語モデル化性能を上回った。