[论文解读] A General Framework for Consistent Structured Prediction with Implicit Loss Embeddings

Carlo Ciliberto, Lorenzo Rosasco+1 more|arXiv (Cornell University)|Feb 13, 2020

Domain Adaptation and Few-Shot Learning参考文献 69被引用 7

一句话总结

本文提出了一种使用隐式损失嵌入（ILE）的一致结构化预测通用框架，通过损失诱导的几何结构将复杂、非线性的输出空间（如流形或概率测度）映射到希尔伯特空间。该方法通过最小二乘公式实现统计一致且计算高效的学习，可推广至离散输出之外的场景，并支持包括距离和散度在内的广泛损失函数。

ABSTRACT

We propose and analyze a novel theoretical and algorithmic framework for structured prediction. While so far the term has referred to discrete output spaces, here we consider more general settings, such as manifolds or spaces of probability measures. We define structured prediction as a problem where the output space lacks a vectorial structure. We identify and study a large class of loss functions that implicitly defines a suitable geometry on the problem. The latter is the key to develop an algorithmic framework amenable to a sharp statistical analysis and yielding efficient computations. When dealing with output spaces with infinite cardinality, a suitable implicit formulation of the estimator is shown to be crucial.

研究动机与目标

• 解决现有结构化预测方法受限于离散输出空间且难以推广至连续或复杂输出结构的局限性。
• 将图像分割、流形回归和概率分布预测等多样化结构化预测问题统一于单一理论与算法框架之下。
• 通过利用隐式损失嵌入，开发一种适用于无穷维输出空间的一致、统计可靠且计算高效的学習算法。
• 提供损失函数可接受隐式损失嵌入的充分条件，确保其在机器学习任务中的广泛应用。
• 证明所提框架可实现最优学习率，并根据问题正则性自适应调整计算复杂度。

提出的方法

• 提出一种新颖的理论框架，其中结构化预测定义在缺乏向量结构的输出空间上，利用损失函数通过隐式损失嵌入（ILE）隐式定义几何结构。
• 将ILE定义为从输出空间到希尔伯特空间的映射，使得损失对应于非对称内积形式，从而将核方法推广至非对称形式。
• 基于ILE公式开发最小二乘估计器，即使在输出空间不可数无限时也能实现一致学习。
• 引入估计器的隐式公式，避免对高维嵌入的显式计算，这对无穷维输出至关重要。
• 借助向量值回归和再生核希尔伯特空间的联系，推导出统计保证并实现高效优化。
• 提供损失函数可接受ILE的充分条件，基于解析性及幂级数展开的收敛性，实现实际可验证性。

实验结果

研究问题

• RQ1 结构化预测能否被一致地扩展至离散输出空间之外，以涵盖连续或流形结构的输出？
• RQ2 如何将包括非对称损失（如距离和散度）在内的广泛损失函数嵌入希尔伯特空间，以实现一致学习？
• RQ3 何种条件可确保损失函数可接受隐式损失嵌入（ILE），且这些条件在实践中如何验证？
• RQ4 所提估计器的统计与计算特性如何随底层学习问题正则性而变化？
• RQ5 该框架能否在保持计算效率的同时实现最优学习率，尤其是在高维或无穷维输出空间中？

主要发现

• 所提框架通过ILE将损失嵌入希尔伯特空间，在包括流形和概率测度在内的广泛输出空间类上实现了统计一致性。
• 估计器的隐式公式即使在输出空间具有无穷基数时也能实现高效计算，避免了显式高维表示。
• 学习率和计算成本随问题正则性自适应调整，当底层函数更光滑时效率更高。
• 提供了ILE存在的充分条件，并证明大多数机器学习中的标准损失函数（如L2、交叉熵和排序损失）均满足这些条件。
• 该框架在统计上等价于标准结构化预测，但计算量更小，在实际应用中具有显著优势。
• 理论分析证实该方法泛化能力良好，在标准光滑性假设下收敛率与已知最优界一致。