[論文レビュー] Unsupervised Learning of Syntactic Structure with Invertible Neural Projections

Junxian He, Graham Neubig+1 more|arXiv (Cornell University)|Aug 28, 2018

Topic Modeling参考文献 36被引用数 4

ひとこと要約

本論文は、逆可換ニューラルプロジェクションを用いて、離散的な文法構造（例：品詞タグ、従属構造木）と連続的単語埋め込みを同時に学習する、新しい教師なし生成モデルを提案する。逆可換性を活用することで正確な推論と周辺尤度の計算が可能となり、Penn Treebank において、ゴールド品詞タグや句読点の制約なしに、教師なし品詞タグ付与および教師なし従属構造解析で最先端の結果を達成した。

ABSTRACT

Unsupervised learning of syntactic structure is typically performed using generative models with discrete latent variables and multinomial parameters. In most cases, these models have not leveraged continuous word representations. In this work, we propose a novel generative model that jointly learns discrete syntactic structure and continuous word representations in an unsupervised fashion by cascading an invertible neural network with a structured generative prior. We show that the invertibility condition allows for efficient exact inference and marginal likelihood computation in our model so long as the prior is well-behaved. In experiments we instantiate our approach with both Markov and tree-structured priors, evaluating on two tasks: part-of-speech (POS) induction, and unsupervised dependency parsing without gold POS annotation. On the Penn Treebank, our Markov-structured model surpasses state-of-the-art results on POS induction. Similarly, we find that our tree-structured model achieves state-of-the-art performance on unsupervised dependency parsing for the difficult training condition where neither gold POS annotation nor punctuation-based constraints are available.

研究の動機と目的

• 教師なし文法モデリングと連続的単語表現の間のギャップを埋めるために、離散的な文法構造と連続的埋め込みを同時に学習することを目的とする。
• ニューラルプロジェクションに逆可換性を課すことにより、離散的潜在変数を有する生成モデルにおいて正確な事後分布推論と周辺尤度計算を可能にすることを目的とする。
• 生テキストからより構造的で文法に配慮した埋め込み空間を学習することで、教師なし品詞タグ付与および従属構造解析の性能を向上させることを目的とする。
• 逆可換プロジェクションが、教師なしまたは語彙素性のアノテーションなしに、学習された埋め込みが文法的性質に焦点を当てるように導けるかどうかを示すこと。

提案手法

• 各単語のための離散的文法ラベルを、マーキョフまたは木構造の事前分布を用いて生成する。
• 潜在的な連続的埋め込みは、離散的文法ラベルに条件づけられたガウス分布からサンプリングされる。
• 観測された事前学習済み単語埋め込みは、潜在埋め込みを観測空間に写像する逆可換ニューラルネットワークを介して生成される。
• ニューラルプロジェクタの逆可換性により、事前分布が取り扱い可能であれば、正確な事後分布推論と周辺尤度の計算が可能となる。
• モデルは周辺尤度の最大化によりエンドツーエンドで訓練され、尤度のパrameter化にプロジェクタの逆関数が用いられる。
• 情報損失を防ぐために、ヤコビアン正則化項が導入される。

実験結果

リサーチクエスチョン

• RQ1 逆可換ニューラルネットワークは、離散的潜在文法変数を有する生成モデルにおいて、正確な推論と周辺尤度計算を可能にするか？
• RQ2 連続的単語埋め込みと文法構造を同時に学習することで、教師なし文法解析タスクの性能が向上するか？
• RQ3 学習された埋め込み空間は、skip-gramのような事前学習済み埋め込みよりも文法的類似性をよりよく捉えられるか？
• RQ4 ゴールド品詞タグや句読点の制約なしの低リソース環境下で、モデルはどの程度の性能を示すか？

主な発見

• マーキョフ構造モデルは、Penn Treebank における品詞タグ付与タスクで、従来の教師なしモデルを上回る最先端の性能を達成した。
• 木構造モデル（DMVを用いて）は、最も厳しい訓練条件—ゴールド品詞タグや句読点の制約なし—において、教師なし従属構造解析で最先端の結果を得た。
• t-SNE可視化では、学習された潜在埋め込みが、ゴールド品詞タグに対応する明確に分離されたクラスタを形成していることが示された。特にマーキョフ構造下で顕著であった。
• DMV構造モデルは、従属構造の教師なし学習なしに、主語と目的語の名詞を文法的役割に基づいて区別する埋め込みを学習した。
• ガウスベースラインを上回り、fastText埋め込みを用いても強固な性能を維持した。これは、埋め込みソースに対してモデルが頑健であることを示している。
• 定性的分析により、学習された埋め込みが文法的類似性に焦点を当てており、最近傍の単語が意味的類似性ではなく文法的類似性を反映していることが確認された。