[论文解读] A Consistent Regularization Approach for Structured Prediction

Carlo Ciliberto, Alessandro Rudi+1 more|arXiv (Cornell University)|May 24, 2016

Advanced Adaptive Filtering Techniques参考文献 6被引用 30

一句话总结

本文通过使用满足温和条件的一类损失函数，将结构化输出嵌入再生核希尔伯特空间（RKHS），提出了一种一致的正则化框架用于结构化预测。该方法基于核岭回归构建代理损失函数，证明了普遍一致性和有限样本泛化界，并在多种结构化预测任务中进行了实证验证。

ABSTRACT

We propose and analyze a regularization approach for structured prediction problems. We characterize a large class of loss functions that allows to naturally embed structured outputs in a linear space. We exploit this fact to design learning algorithms using a surrogate loss approach and regularization techniques. We prove universal consistency and finite sample bounds characterizing the generalization properties of the proposed methods. Experimental results are provided to demonstrate the practical usefulness of the proposed approach.

研究动机与目标

• 解决标准学习算法在复杂输出空间的结构化预测问题中的应用挑战。
• 为结构化预测构建一个统一的理论框架，以推广多类分类、多标签分类、排序等各类问题。
• 为基于正则化的结构化预测学习算法建立理论一致性与有限样本泛化界。
• 通过代理损失与基于核的正则化方法，推导出现有算法（如SVMstruct）的新方法。

提出的方法

• 使用满足温和连续性与有界性条件的一类损失函数，将结构化输出嵌入再生核希尔伯特空间（RKHS）。
• 基于嵌入定义代理最小二乘损失，从而可应用标准多输出正则化学习技术。
• 将学习算法表述为核岭回归：计算输入相关权重 α(x) = (K + nλI)⁻¹K_x，然后预测 f̂(x) = argmin_y ∑ᵢ αᵢ(x)Δ(y, yᵢ)。
• 确保损失函数可通过连续特征映射 ψ 和有界算子 V 表示为希尔伯特空间中的内积，满足假设1。
• 将希尔伯特空间 H_Y 构造为分量空间张量积的直和，以支持基损失的多项式与无穷级数组合。
• 证明在基损失的组合（求和、乘积、多项式）下，所得损失函数仍可嵌入希尔伯特空间，且保持嵌入结构。

实验结果

研究问题

• RQ1 能否基于代理损失，为广泛类别的结构化预测问题开发统一的正则化框架？
• RQ2 在何种损失函数条件下，可将结构化输出嵌入希尔伯特空间，以支持基于核的学习？
• RQ3 所提出的算法在结构化预测中是否实现普遍一致性与有限样本泛化界？
• RQ4 代理损失方法相较于直接经验风险最小化，对泛化性能有何影响？
• RQ5 现有结构化预测算法（如SVMstruct）能否作为该框架的特例推导得出？

主要发现

• 在损失函数的温和假设下，所提算法实现了普遍一致性，即随着样本量增加，估计器收敛至真实最小化器。
• 推导出有限样本泛化界，量化了学习过程中近似误差与估计误差之间的权衡。
• 通过基于核岭回归与希尔伯特空间嵌入的新型理论推导，推广了Cortes等人（2005）的方法。
• 该框架支持多种结构化预测问题（如多类分类、多标签分类、排序与分位数估计）作为特例。
• 理论分析表明，只要损失函数满足嵌入条件（假设1），代理损失方法不会损害一致性。
• 实证结果表明，该方法在多种结构化预测任务中表现出实际有效性，验证了理论结论。