[論文レビュー] CRF Autoencoder for Unsupervised Dependency Parsing

Jiong Cai, Yong Jiang+1 more|arXiv (Cornell University)|Aug 3, 2017

Natural Language Processing Techniques参考文献 14被引用数 4

ひとこと要約

本稿では、エンコーダが入力文の構文解析木の条件付き確率を特徴豊富なCRFモデルでグローバルに正規化してモデリングする、判別的で自己符号化器フレームワークを用いた非教師付き依存構文解析モデルを提案する。デコーダは予測された解析構造から入力トークンを再構築する。本手法は、普遍的言語的事前知識を用いることで、8言語の多言語コーパスにおいて最先端の性能を達成し、特に非教師付きモデルにおいて顕著な向上を示した。

ABSTRACT

Unsupervised dependency parsing, which tries to discover linguistic dependency structures from unannotated data, is a very challenging task. Almost all previous work on this task focuses on learning generative models. In this paper, we develop an unsupervised dependency parsing model based on the CRF autoencoder. The encoder part of our model is discriminative and globally normalized which allows us to use rich features as well as universal linguistic priors. We propose an exact algorithm for parsing as well as a tractable learning algorithm. We evaluated the performance of our model on eight multilingual treebanks and found that our model achieved comparable performance with state-of-the-art approaches.

研究の動機と目的

• 生成モデルの制限を回避する、実行可能で判別的な非教師付き依存構文解析のアプローチを開発すること。
• 特徴豊富でグローバル正規化されたCRFベースのエンコーダを用いて、解析精度の向上を図ること。
• CRF自己符号化器フレームワークを用いて、再構築に基づく学習目的を導入し、潜在構造の学習をガイドすること。
• 多言語データ上でモデルを評価し、最先端の非教師付き構文解析システムと比較すること。
• 普遍的言語的事前知識が解析性能に与える影響を調査すること。

提案手法

• モデルは、入力文に対して解析木の条件付き確率を、豊富な特徴を用いた対数線形モデルでモデリングする判別的エンコーダを備えたCRF自己符号化器を採用する。
• 解析木のスコアは、特徴重み付きの依存アークスコアの総和として計算され、マトリックスツリー定理またはインサイドアウトサイドアルゴリズムを用いて計算されるパーティション関数によって正規化される。
• デコーダは、予測されたヘッドから入力トークンを再構築するためのカテゴリカルモデルであり、Viterbi EMを用いてパラメータを更新する。
• 学習は、確率的勾配降下法を用いてCRF重みを最適化し、Viterbi解析における最尤推定法によりデコーダパラメータを更新するという、交互に繰り返す。
• 目的関数は、解析と再構築の同時分布の対数尤度を組み合わせ、エンドツーエンドの学習を可能にするViterbi近似を含む。
• 正確な解析は、各文に対してスコアが最大の有効な解析木を発見する動的計画法を用いて実行される。

実験結果

リサーチクエスチョン

• RQ1 判別的でグローバル正規化されたCRFモデルは、生成モデルを上回る性能を非教師付き依存構文解析で達成できるか？
• RQ2 豊富な特徴と普遍的言語的事前知識を組み込むことで、非教師付き設定における解析精度が向上するか？
• RQ3 CRF自己符号化器フレームワークは、複雑な木構造出力のための実行可能な学習と正確な推論を可能にするか？
• RQ4 目的関数のViterbi近似は、標準的な負の対数尤度と比較して性能にどのように影響するか？
• RQ5 モデルは複数の言語に一般化可能で、高精度な結果を、任意の教師付きデータなしに達成できるか？

主な発見

• 提案されたCRF自己符号化器モデルは、Wall Street Journalテストセットで55.7%の有向依存構文精度を達成し、ベースラインの負の対数尤度目的関数（41.8%）を上回った。
• PASCAL文法誘導チャレンジの7言語の平均では、Convex-MST や Neural DMV を含むすべての比較システムの中で最高の性能を示した。
• 普遍的言語的事前知識の使用は、特に Convex-MST や提案された CRFAE において、性能の顕著な向上をもたらした。
• Viterbi版の目的関数は、標準的な負の対数尤度目的関数よりも著しく高い解析精度を達成し、その有効性を確認した。
• モデルは多言語への一般化が強く、任意のラベル付きデータなしに多様な言語で競争力のある結果を達成した。
• 本手法は正確な解析と実行可能な学習を可能にし、非プロジェクト型木のパーティション関数をマトリックスツリー定理を用いて効率的に計算できる。