[论文解读] Alternating Projections for Learning with Expectation Constraints

Kedar Bellare, Gregory Druck+1 more|arXiv (Cornell University)|May 9, 2012

Topic Modeling参考文献 14被引用 59

一句话总结

本文提出了一种用于带期望约束学习的交替投影算法，通过迭代地在信息流形和矩约束流形之间投影，优化结合了有标签数据和辅助矩约束的目标函数。该方法在具有表达性结构约束的半监督学习中实现了最先进性能，在准确率上相比先前的约束驱动方法提升了3%至6%，同时在优化过程中保持了不确定性。

ABSTRACT

We present an objective function for learning with unlabeled data that utilizes auxiliary expectation constraints. We optimize this objective function using a procedure that alternates between information and moment projections. Our method provides an alternate interpretation of the posterior regularization framework (Graca et al., 2008), maintains uncertainty during optimization unlike constraint-driven learning (Chang et al., 2007), and is more efficient than generalized expectation criteria (Mann & McCallum, 2008). Applications of this framework include minimally supervised learning, semisupervised learning, and learning with constraints that are more expressive than the underlying model. In experiments, we demonstrate comparable accuracy to generalized expectation criteria for minimally supervised learning, and use expressive structural constraints to guide semi-supervised learning, providing a 3%-6% improvement over stateof-the-art constraint-driven learning.

研究动机与目标

• 开发一种更高效且保持不确定性的无标签数据与辅助期望约束学习方法。
• 通过交替投影为后验正则化框架提供一种替代解释。
• 解决约束驱动学习的局限性，例如在优化过程中损失不确定性。
• 通过引入表达性结构约束，提升半监督和极小监督学习的性能。
• 提供一种可扩展的广义期望准则替代方案，具有更好的计算效率。

提出的方法

• 该方法优化一个目标函数，该函数结合了有标签数据的似然项和强制执行期望约束的正则化项。
• 它在信息流形（由模型参数定义）与矩约束流形（由辅助期望定义）之间进行交替投影。
• 每次迭代通过最大似然估计将当前参数估计投影到信息流形上，然后通过二次规划投影到矩约束流形上。
• 与通常在优化过程中会塌陷不确定性的约束驱动学习方法不同，该算法在整个优化过程中保持了模型不确定性。
• 该过程被推导为约束优化问题对偶问题上的块坐标下降。
• 其被证明等价于一种特定形式的后验正则化，为该框架提供了几何解释。

实验结果

研究问题

• RQ1 交替投影能否为期望约束学习提供一种高效且保持不确定性的替代方法？
• RQ2 与广义期望准则和约束驱动学习相比，该方法在准确率和效率方面表现如何？
• RQ3 表达性结构约束是否能显著提升半监督学习中的性能？
• RQ4 在优化过程中保持不确定性是否能提升约束学习设置下的泛化能力？
• RQ5 通过交替投影，后验正则化的几何与算法解释是什么？

主要发现

• 所提方法在极小监督学习任务中与广义期望准则的准确率相当。
• 在半监督学习中，该方法相比最先进约束驱动学习方法性能提升了3%至6%。
• 该算法在整个优化过程中保持了模型不确定性，避免了约束驱动方法中常见的不确定性塌陷。
• 与广义期望准则相比，交替投影框架具有更高的计算效率。
• 该方法为后验正则化提供了几何解释，即在信息流形与矩约束流形之间的交替投影。
• 实证结果证实，表达性结构约束能显著提升半监督设置下的模型性能。