[論文レビュー] Compound Probabilistic Context-Free Grammars for Grammar Induction

Yoon Kim, Chris Dyer+1 more|arXiv (Cornell University)|Jun 24, 2019

Topic Modeling参考文献 90被引用数 7

ひとこと要約

本稿では、ニューラルネットワークを用いて規則確率をパrameter化し、文単位の連続的潜在変数を用いて標準的なPCFGの仮定を超えた長距離依存関係をモデル化する、化合物確率的文脈自由文法（PCFG）を提案する。変分推論のアンモトライブド化と動的計画法を組み合わせて潜在木を周辺化することで、英語および中国語のベンチマークにおいて最先端の教師なしパーサー性能を達成した。

ABSTRACT

We study a formalization of the grammar induction problem that models sentences as being generated by a compound probabilistic context-free grammar. In contrast to traditional formulations which learn a single stochastic grammar, our grammar's rule probabilities are modulated by a per-sentence continuous latent variable, which induces marginal dependencies beyond the traditional context-free assumptions. Inference in this grammar is performed by collapsed variational inference, in which an amortized variational posterior is placed on the continuous variable, and the latent trees are marginalized out with dynamic programming. Experiments on English and Chinese show the effectiveness of our approach compared to recent state-of-the-art methods when evaluated on unsupervised parsing.

研究の動機と目的

• 従来のPCFGが直面する制限、特に硬直的な独立性仮定と最適化の困難な局所的最適化の問題を解決する。
• 最大尤度推定を用いた標準的なPCFGでは、生テキストから意味的に意味のある文法を誘導することが難しいという課題を克服する。
• 文単位の連続的潜在ベクトルを導入し、規則確率を文脈依存的に変化させることで、生成プロセスにおける長距離依存関係をモデル化する。
• 潜在解析木を周辺化するため、畳み込み変分推論と動的計画法を組み合わせた効率的な推論手法を開発する。
• 英語および中国語のデータセットにおいて、最近年のニューラルおよび確率的アプローチを上回る、改善された教師なしパーサー性能を実証する。

提案手法

• 非終端記号および前置端記号の分散表現を入力として、ニューラルネットワークを用いてPCFG規則確率をパラメータ化する。
• 文単位の連続的潜在ベクトルを導入し、規則確率を調整することで、厳密な文脈自由独立性を緩和する化合物PCFGを構築する。
• 認識ネットワークを用いてアンモトライブド変分推論を実行し、潜在ベクトルの事後分布を近似することで、エンドツーエンドの学習を可能にする。
• 畳み込み変分推論を適用：固定された潜在ベクトルに対して、動的計画法（例：CKY型アルゴリズム）を用いてすべての可能な解析木を周辺化する。
• 再パラメータ化された確率的勾配降下法を用いて、観測された文の対数周辺尤度を最適化し、微分可能な推論を活用する。
• 動的計画法の計算をバックプロパゲーションで通して学習させ、文法パラメータと潜在表現を同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 PCFG規則確率のニューラルネットワークによるパラメータ化は、PCFGの最尤学習をより効果的かつ安定にするか？
• RQ2 文単位の連続的潜在変数は、標準的なPCFGの仮定を超えて、教師なし文法誘導における長距離依存関係のモデル化を改善するか？
• RQ3 畳み込み変分推論を組み合わせた化合物PCFGフレームワークは、最近の最先端手法を上回る教師なしパーサー性能を達成するか？
• RQ4 残差接続、正規化、推論ネットワーク設計といったアーキテクチャ選択に、モデルの性能はどれほど感受性を示すか？
• RQ5 提案手法は、英語および中国語のデータセットで示されるように、言語を越えて一般化可能か？

主な発見

• PCFG規則確率のニューラルパラメータ化により、単純な最尤最適化によって効果的な文法誘導が可能となり、過去の最適化の困難さが克服された。
• 文単位の潜在ベクトルを備えた化合物PCFGは、一次の文脈自由独立性仮定を超える相関関係を捉え、より豊かな構文的一般化を実現した。
• 英語および中国語の両方の教師なしパーサーベンチマークで、最近年のニューラルおよび確率的アプローチを上回る最先端の性能を達成した。
• モデルのアーキテクチャに感受性があることが判明した—特にニューラルネットワークにおける残差接続が性能向上に不可欠であったが、ランダムシードによるばらつきも一部観察された。
• 動的計画法のステップに $O(|\mathcal{R}||\boldsymbol{x}|^3)$ の計算コストがかかるものの、標準データセットにおいても実行可能で効果的であることが示された。
• このフレームワークは汎用的であり、条件付きで扱いやすい推論を持つ他の生成モデルにも適用可能であり、文法誘導を超えた広範な応用可能性を示唆している。