[论文解读] Conditional Random Field Autoencoders for Unsupervised Structured Prediction

Waleed Ammar, Chris Dyer+1 more|arXiv (Cornell University)|Nov 5, 2014

Topic Modeling参考文献 45被引用 46

一句话总结

本文提出条件随机场自编码器（CRAE）用于无监督结构化预测，结合条件随机场（CRF）进行潜在结构推断与生成式重建模型，实现无需独立性假设的高效、特征丰富的学习。该方法在词性标注归纳与词对齐任务上达到最先进性能，优于依赖特征的基线模型，同时保持计算效率。

ABSTRACT

We introduce a framework for unsupervised learning of structured predictors with overlapping, global features. Each input's latent representation is predicted conditional on the observable data using a feature-rich conditional random field. Then a reconstruction of the input is (re)generated, conditional on the latent structure, using models for which maximum likelihood estimation has a closed-form. Our autoencoder formulation enables efficient learning without making unrealistic independence assumptions or restricting the kinds of features that can be used. We illustrate insightful connections to traditional autoencoders, posterior regularization and multi-view learning. We show competitive results with instantiations of the model for two canonical NLP tasks: part-of-speech induction and bitext word alignment, and show that training our model can be substantially more efficient than comparable feature-rich baselines.

研究动机与目标

• 解决传统无监督模型依赖强独立性假设且缺乏灵活特征工程的局限性。
• 通过两阶段自编码器框架实现在无监督结构化预测中的高效、精确推理。
• 在保留CRF计算优势的同时，将强大且全局作用的特征整合进无监督学习。
• 证明在无监督设置下，可高效训练特征丰富的模型而不损失性能。
• 表明所提出的框架在大规模语料和复杂特征下，相比现有特征丰富的替代方法（如马尔可夫随机场MRFs）具有更好的可扩展性。

提出的方法

• 模型使用CRF作为编码器，从观测输入x中推断潜在结构y，条件于丰富且全局的特征。
• 通过独立的分类分布生成模型从y重建ˆx，实现闭式似然估计。
• 联合目标函数结合CRF的条件概率p(y|x; λ)与重建概率p(ˆx|y; θ)，其中ˆx通常为x的副本。
• 该框架支持后验正则化，以在潜在变量后验上施加领域特定约束，例如在词性标注归纳中要求每句话至少包含一个动词。
• 在适度独立性假设下推理效率高，单样本运行时间与有监督CRFs相当。
• 模型支持从标注数据与未标注数据中联合学习，实现半监督适应。

实验结果

研究问题

• RQ1 能否在不牺牲计算效率的前提下，通过使用丰富且全局作用的特征，实现更优的无监督结构化预测？
• RQ2 将联合生成模型替换为基于CRF的自编码器框架，是否能在支持复杂特征工程的同时实现精确推理？
• RQ3 所提出的模型是否能在准确率与训练效率两方面均优于传统特征丰富的模型（如HMM与MRF）？
• RQ4 后验正则化在无监督设置中引导模型学习有意义潜在结构方面的有效性如何？
• RQ5 在语料规模与特征复杂度增加时，自编码器架构是否相比现有特征丰富的模型展现出更好的可扩展性？

主要发现

• 在七种语言的词性标注归纳任务中，CRAE在所有语言上均优于特征化的一阶HMM，V-measure平均相对提升12%。
• 在捷克-英语词对齐任务中，模型达到对称AER为19.5%，显著优于fast-align（25.2%）与model 4（22.2%）。
• 在翻译质量评估中，CRAE提升了捷克-英语与乌尔都语-英语翻译系统的BLEU分数，但未在中文-英语系统中提升，原因在于文字差异。
• 模型的平均单句推理时间随语料规模增长极小，而具有相似特征的MRFs则表现出显著更高的增长，证明其优越的可扩展性。
• 该框架实现了无需近似推理或独立性假设的特征丰富模型高效训练。
• 使用布朗聚类重建与多词特征显著提升了词性标注归纳的性能，验证了通过特征工程引入归纳偏置的重要性。