[论文解读] Analysis of Semi-Supervised Learning with the Yarowsky Algorithm

Gholam Reza Haffari, Anoop Sarkar|arXiv (Cornell University)|Jun 20, 2012

Neural Networks and Applications参考文献 5被引用 23

一句话总结

本文对半监督学习中的Yarowsky算法进行了严格的数学分析，表明其优化了一个基于Bregman散度定义的新交叉熵的上界。该研究扩展了Abney的工作，将该算法与调和函数及最小多路图割联系起来，并提出了具有信息几何理论基础的新规则学习方法。

ABSTRACT

The Yarowsky algorithm is a rule-based semi-supervised learning algorithm that has been successfully applied to some problems in computational linguistics. The algorithm was not mathematically well understood until (Abney 2004) which analyzed some specific variants of the algorithm, and also proposed some new algorithms for bootstrapping. In this paper, we extend Abney's work and show that some of his proposed algorithms actually optimize (an upper-bound on) an objective function based on a new definition of cross-entropy which is based on a particular instantiation of the Bregman distance between probability distributions. Moreover, we suggest some new algorithms for rule-based semi-supervised learning and show connections with harmonic functions and minimum multi-way cuts in graph-based semi-supervised learning.

研究动机与目标

• 为Yarowsky算法提供正式的数学理解，该算法此前缺乏理论基础。
• 通过证明某些Yarowsky变体优化了一个新交叉熵度量的上界，扩展Abney（2004）的分析。
• 通过调和函数和最小多路图割，将基于规则的半监督学习与图基方法联系起来。
• 提出具有理论依据的新算法，用于基于规则的半监督学习。
• 在信息几何（Bregman散度）与自然语言处理中的实际半监督学习之间建立桥梁。

提出的方法

• 作者基于概率分布之间Bregman散度的特定实例，定义了一种新的交叉熵度量。
• 他们证明Yarowsky算法实际上最小化了该新交叉熵目标函数的上界。
• 该方法将Yarowsky中的迭代标签传播与图上的调和函数联系起来，其中标签在节点间平滑传播。
• 通过将标签传播解释为最小化图基能量函数，将该算法与最小多路图割联系起来。
• 基于该理论框架，提出了新的基于规则的学习算法，采用置信度阈值的迭代优化。
• 理论分析使用信息几何和图论工具，证明了收敛性和最优性特性。

实验结果

研究问题

• RQ1 如何利用信息论原则正式证明Yarowsky算法的合理性？
• RQ2 Yarowsky算法实际优化的目标函数是什么？它与交叉熵有何关系？
• RQ3 Yarowsky算法能否与调和函数和最小割等图基半监督学习方法联系起来？
• RQ4 能否从该理论框架中推导出新的基于规则的学习算法？
• RQ5 使用Bregman散度如何增进对半监督学习中标签传播的理解？

主要发现

• Yarowsky算法优化了一个由Bregman散度导出的新交叉熵度量的上界。
• 所提出的交叉熵基于信息几何，为该算法行为提供了原则性解释。
• 该算法的标签传播机制在数学上等价于在图上求解调和函数问题。
• 在特定条件下，该方法被证明等价于最小化多路图割能量函数。
• 从同一框架中推导出新的基于规则的算法，并证明其具有理论依据。
• 该理论分析消除了早期应用Yarowsky算法时的模糊性，为未来扩展奠定了基础。