[论文解读] Learning to Predict Combinatorial Structures

Shankar Vembu|arXiv (Cornell University)|Dec 22, 2009

Algorithms and Data Compression参考文献 111被引用 5

一句话总结

本文引入了两种新颖的计算假设——高效计数与高效采样——以实现对排列、环及偏序集等组合结构的可扩展判别式学习。通过利用这些假设，作者将岭回归推广至结构化输出，并开发了新的概率结构化预测模型，在输出空间呈指数级增长的情况下仍能实现高效推理与训练。

ABSTRACT

The major challenge in designing a discriminative learning algorithm for predicting structured data is to address the computational issues arising from the exponential size of the output space. Existing algorithms make different assumptions to ensure efficient, polynomial time estimation of model parameters. For several combinatorial structures, including cycles, partially ordered sets, permutations and other graph classes, these assumptions do not hold. In this thesis, we address the problem of designing learning algorithms for predicting combinatorial structures by introducing two new assumptions: (i) The first assumption is that a particular counting problem can be solved efficiently. The consequence is a generalisation of the classical ridge regression for structured prediction. (ii) The second assumption is that a particular sampling problem can be solved efficiently. The consequence is a new technique for designing and analysing probabilistic structured prediction models. These results can be applied to solve several complex learning problems including but not limited to multi-label classification, multi-category hierarchical classification, and label ranking.

研究动机与目标

• 解决当输出空间随输入规模呈指数增长时，结构化预测的计算不可行性问题。
• 克服现有算法依赖于限制性假设的局限性，这些假设不适用于复杂的组合结构。
• 在结构化预测任务中，实现对排列、环及偏序集的高效参数估计与推理。
• 构建一个统一框架，通过新颖的计算假设，将岭回归与概率建模推广至结构化输出。
• 为多标签、层次化及标签排序问题中的可扩展学习提供理论与实证基础。

提出的方法

• 引入“计数假设”——即有效组合结构的数量可被高效计算——从而实现将岭回归推广至结构化输出。
• 引入“采样假设”——即从有效结构集合中进行均匀采样是可行的——支持概率结构化预测模型的设计。
• 利用计数假设，通过近似枚举与在线学习实现高效优化，推导出结构化岭回归公式。
• 应用采样假设，近似指数族模型中的配分函数及其对数配分函数的梯度，从而实现可处理的推理。
• 设计一种在超立方体上的马尔可夫链蒙特卡洛（MCMC）采样器 MC_cube，通过路径耦合方法提供理论上的混合时间界。
• 集成冷却调度与嵌套乘积，复用梯度近似中的中间计算，提升大规模场景下的效率。

实验结果

研究问题

• RQ1 当标准假设失效时，能否使排列与环等组合输出的结构化预测实现可扩展性？
• RQ2 高效计数有效结构在多大程度上能实现结构化输出的广义岭回归？
• RQ3 从组合结构中高效采样在多大程度上能改善概率结构化预测模型的训练与推理？
• RQ4 在超立方体上，均匀采样器的混合时间是多少，其对基于MCMC的推理收敛性有何影响？
• RQ5 近似推理技术（如近似解码与枚举）能否在降低计算成本的同时保持预测准确性？

主要发现

• 计数假设使岭回归能够推广至结构化预测，即使在输出空间呈指数级增长的情况下，也能实现高效的参数估计。
• 采样假设通过支持利用均匀采样近似配分函数及其梯度，促进了新型概率模型的开发。
• MC_cube马尔可夫链在d维超立方体上的混合时间被界定为$ O(d \ln(d\epsilon^{-1})) $，确保了近似推理的高效收敛。
• 通过采样与枚举实现的近似推理在预测性能上表现强劲，实证结果表明其在标签排序与多类别分类等复杂任务中具有可扩展性。
• 结合冷却调度与嵌套乘积的梯度近似方法可复用中间计算，显著提升大规模结构化预测中的梯度近似效率。
• 通过路径耦合的理论分析证实，所提出的MCMC采样器具有快速混合特性，验证了其在实际概率建模中的适用性。