[論文レビュー] Differentiable Perturb-and-Parse: Semi-Supervised Parsing with a Structured Variational Autoencoder

Caio Corro, Ivan Titov|arXiv (Cornell University)|Jul 25, 2018

Natural Language Processing Techniques被引用数 44

ひとこと要約

この論文は、構造化された変分オートエンコーダと微分可能な perturb-and-parse メカニズムに基づく半教師付き依存構文解析器を提案し、潜在木からサンプリングして学習する。英語、フランス語、スウェーデン語での実験を行う。

ABSTRACT

Human annotation for syntactic parsing is expensive, and large resources are available only for a fraction of languages. A question we ask is whether one can leverage abundant unlabeled texts to improve syntactic parsers, beyond just using the texts to obtain more generalisable lexical features (i.e. beyond word embeddings). To this end, we propose a novel latent-variable generative model for semi-supervised syntactic dependency parsing. As exact inference is intractable, we introduce a differentiable relaxation to obtain approximate samples and compute gradients with respect to the parser parameters. Our method (Differentiable Perturb-and-Parse) relies on differentiable dynamic programming over stochastically perturbed edge scores. We demonstrate effectiveness of our approach with experiments on English, French and Swedish.

研究の動機と目的

• 汎用的な単語埋め込みを超えるラベルなしテキストを活用して、統語注釈の高コストに対処する。
• 潜在依存木と文の埋め込みから文を生成する確率的生成モデルを提案する。
• ラベル付きデータ上の識別的目的と組み合わせた変分オートエンコーダ目的でモデルを訓練する。
• 潜在依存木をサンプリングし微分可能にする微分可能な perturb-and-parse 法を導入する。

提案手法

• 潜在変数が射影可能な依存木 T と文の埋め込み z である生成モデルを定義し、p(s|T,z) はニューラルネットワークでパラメータ化される。
• 事後分布を近似する変分分布 qφ(T,z|s) を用い、教師なし項と教師あり項を組み合わせた ELBO を最大化する。
• エンコーダを qφ(T|s) qφ(z|s) に分解し、T は対数線形のアーク重みモデルでパラメータ化され、z は LSTM からの対角ガウスで表現される。
• z を条件とした LSTM で自己回帰的にデコードし、T からの統語構造を取り込むために Graph Convolutional Network を用いる。
• Differentiable Perturb-and-Parse を採用：Gumbel様ノイズで弧の重みを撹乱し、T 上の勾配ベース学習を可能にする微分可能なパース代用手法を用いる。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしデータは、学習済みの語彙表現を超えるニューラル依存解析の性能向上につながるか？
• RQ2 Differentiable perturb-and-parse はVAEフレームワークにおいて潜在依存木の勾配伝搬可能な経路を提供するか？
• RQ3 半教師付き VAE は英語、フランス語、スウェーデン語の各言語で、教師ありのベースラインと比べてどう機能するか？
• RQ4 生成的目的と識別的目的をどのように組み合わせてパーサを効果的に訓練すべきか？

主な発見

• このアプローチは半教師付き依存解析のための変分オートエンコーダフレームワークを導入する。
• A differentiable Perturb-and-Parse operator enables gradient-based learning through latent trees.
• この手法は、同等の教師ありベースラインと比較して英語、フランス語、スウェーデン語で有効性を示している。