[论文解读] Graph-Based Semi-Supervised Conditional Random Fields For Spoken Language Understanding Using Unaligned Data

Mohammad Aliannejadi, Masoud Kiaeeha+2 more|arXiv (Cornell University)|Jan 30, 2017

Natural Language Processing Techniques参考文献 18被引用 4

一句话总结

该论文提出了一种基于图的半监督条件随机场（CRF）框架，用于语音语言理解（SLU），通过首先使用IBM Model 5将话语与语义树对齐，然后构建k-NN相似性图，从少量标注样本中传播标签，从而利用未对齐的训练数据。当仅使用10%的数据进行标注时，该方法在F-score上相比监督CRF提升了1.64%，相比自训练CRF提升了1.38%，在低资源SLU场景中表现出显著优势。

ABSTRACT

We experiment graph-based Semi-Supervised Learning (SSL) of Conditional Random Fields (CRF) for the application of Spoken Language Understanding (SLU) on unaligned data. The aligned labels for examples are obtained using IBM Model. We adapt a baseline semi-supervised CRF by defining new feature set and altering the label propagation algorithm. Our results demonstrate that our proposed approach significantly improves the performance of the supervised model by utilizing the knowledge gained from the graph.

研究动机与目标

• 通过利用未对齐的训练数据，解决语音语言理解（SLU）中人工标注成本过高的问题。
• 在仅一小部分数据被完全标注的低资源设置下，提升CRF的性能。
• 开发一种半监督学习框架，通过基于图的标签传播，有效从无标签数据中迁移知识。
• 通过使用IBM Model 5进行对齐以生成伪标签，减少对完全对齐训练数据的依赖，从而用于图的构建。

提出的方法

• 使用IBM Model 5将未对齐的话语与语义树对齐，以生成伪标注的训练实例。
• 利用句子嵌入和词级特征，在标注数据和无标签数据上构建k-NN相似性图。
• 通过一种改进的算法实现标签传播，该算法结合了经验标签分布、图平滑性和先验标签信念。
• 基于预测的边缘概率，使用Viterbi解码为无标签数据生成伪标签。
• 使用原始标注数据和新预测的伪标注数据，迭代地重新训练CRF模型。
• 通过L2正则化优化CRF目标函数，并联合最小化标签一致性、图平滑性和先验对齐保真度，使用加权优化函数。

实验结果

研究问题

• RQ1 当仅一小部分数据被完全标注时，基于图的半监督学习能否提升SLU中CRF的性能？
• RQ2 基于未对齐话语和语义树构建的k-NN图上的标签传播效果如何？
• RQ3 结合图结构和标签一致性是否能显著提升F-score，使其优于监督基线和自训练基线？
• RQ4 通过IBM Model 5的对齐是否能提供足够多的伪标签，以实现对未对齐数据的有效半监督CRF训练？
• RQ5 在标签传播和CRF重新训练阶段，不同超参数对最终性能的影响如何？

主要发现

• 所提出的半监督CRF在仅使用10%标注数据时，F-score达到87.72%，相比监督CRF（86.07%）提升了1.65%。
• 在10%标注数据下，该方法相比自训练CRF（F-score 86.34%）提升了1.38%，达到87.72%。
• 在30%标注数据下，半监督CRF的F-score达到89.12%，超过监督CRF（88.64%）和自训练CRF（88.64%）。
• 在数据可用性较低时提升最为显著，表明在低资源SLU设置下具有出色的样本效率。
• 该方法通过基于图的标签传播有效纠正了对齐错误，而标准方法则会传播错误。