[論文レビュー] Conditional Random Field Autoencoders for Unsupervised Structured Prediction

Waleed Ammar, Chris Dyer+1 more|arXiv (Cornell University)|Nov 5, 2014

Topic Modeling参考文献 45被引用数 46

ひとこと要約

本稿では、潜在構造の推論にCRFを用い、生成的再構成モデルを組み合わせることで、独立性仮定を緩和しつつ、特徴豊富で効率的な学習を可能にする、非教師付き構造予測のための条件付きランダムフィールドオートエンコーダー（CRAE）を提案する。この手法は、部分品詞帰属と語の対応付けの両タスクで最先端の性能を達成し、独立性仮定のない特徴豊富なベースラインを上回りながらも、計算効率を維持している。

ABSTRACT

We introduce a framework for unsupervised learning of structured predictors with overlapping, global features. Each input's latent representation is predicted conditional on the observable data using a feature-rich conditional random field. Then a reconstruction of the input is (re)generated, conditional on the latent structure, using models for which maximum likelihood estimation has a closed-form. Our autoencoder formulation enables efficient learning without making unrealistic independence assumptions or restricting the kinds of features that can be used. We illustrate insightful connections to traditional autoencoders, posterior regularization and multi-view learning. We show competitive results with instantiations of the model for two canonical NLP tasks: part-of-speech induction and bitext word alignment, and show that training our model can be substantially more efficient than comparable feature-rich baselines.

研究の動機と目的

• 従来の非教師付きモデルが強い独立性仮定に依存しており、柔軟な特徴工学が不足しているという限界を是正すること。
• 2段階のオートエンコーダー枠組みを用いて、非教師付き構造予測における効率的かつ正確な推論を可能にすること。
• CRFの計算的利点を保ちながら、強力でグローバルスコープの特徴を非教師付き学習に統合すること。
• 特徴豊富なモデルが、近似推論や独立性仮定に依存せずに、非教師付き設定でも効率的に学習可能であることを示すこと。
• MRFのような既存の特徴豊富な代替手法と比較して、本フレームワークがより優れたスケーラビリティを示すこと。

提案手法

• モデルは、豊富でグローバルな特徴を前提として、観測された入力xから潜在構造yを推論するためのCRFをエンコーダーとして使用する。
• 別個の生成モデルが、独立したカテゴリカル分布を用いてyからˆxを再構成し、閉形式の尤度推定を可能にする。
• 連合目的関数は、CRFの条件付き確率p(y|x; λ)と再構成確率p(ˆx|y; θ)を組み合わせており、ˆxは通常xそのものである。
• フレームワークは、文ごとに少なくとも1つの動詞が存在するようにというようなドメイン固有の制約を潜在変数の事後分布に強制する後方正則化をサポートする。
• やや弱い独立性仮定のもとで推論が効率的であり、1例あたりの実行時間は教師ありCRFと同等である。
• ラベル付きおよびラベルなしデータの両方を用いた共同学習が可能で、半教師付きの適応が可能になる。

実験結果

リサーチクエスチョン

• RQ1 豊富でグローバルスコープの特徴を用いることで、計算効率を損なわずに、より優れた非教師付き構造予測が達成可能か？
• RQ2 結合的生成モデルの代わりにCRFベースのオートエンコーダー枠組みを採用することで、正確な推論が可能になり、複雑な特徴工学が可能になるか？
• RQ3 提案されたモデルは、HMM や MRF のような従来の特徴豊富なモデルと比較して、精度と学習効率の両面で優れているか？
• RQ4 後方正則化の統合は、非教師付き設定における意味のある潜在構造へのモデルの誘導にどの程度効果的か？
• RQ5 コーパスサイズや特徴の複雑さが増加する条件下でも、オートエンコーダー構造は既存の特徴豊富なモデルよりもスケーラブルか？

主な発見

• CRAEは、部分品詞帰属タスクにおいて、7言語すべての評価で特徴豊富な1次HMMを上回り、V-measureの平均相対改善率が12%に達した。
• チェコ語-英語語対応付けタスクでは、対称的AERが19.5%に達し、fast-align（25.2%）やmodel 4（22.2%）を著しく上回った。
• 翻訳品質評価では、Czech-EnglishおよびUrdu-English翻訳システムのBLEUスコアが向上したが、Chinese-Englishでは、表記の違いのため向上しなかった。
• モデルの平均1文あたりの推論時間は、コーパスサイズの増加に伴いわずかに増加する一方で、同様の特徴を持つMRFは顕著に増加するため、優れたスケーラビリティを示した。
• 近似推論や独立性仮定に依存せず、特徴豊富なモデルの効率的学習を可能にするフレームワークを提供した。
• Brownクラスタ再構成と多語彙特徴の使用が、部分品詞帰属タスクの性能向上に顕著に寄与し、特徴工学によるインダクティブバイアスの重要性を裏付けた。