[论文解读] Manifold Structured Prediction

Alessandro Rudi, Carlo Ciliberto+2 more|arXiv (Cornell University)|Jun 26, 2018

Topological and Geometric Data Analysis被引用 7

一句话总结

本文提出了一种用于流形值回归的统计一致结构化预测框架，其中输出空间为黎曼流形（如正定矩阵锥或球面）。该方法引入了一种基于满足“结构编码损失函数”（SELF）条件的损失函数的流形结构化估计器，通过核方法和流形上的几何优化实现一致学习，且在合成数据和真实世界数据（包括指纹重建和多标签分类）上表现出强劲的实验性能。

ABSTRACT

Structured prediction provides a general framework to deal with supervised problems where the outputs have semantically rich structure. While classical approaches consider finite, albeit potentially huge, output spaces, in this paper we discuss how structured prediction can be extended to a continuous scenario. Specifically, we study a structured prediction approach to manifold valued regression. We characterize a class of problems for which the considered approach is statistically consistent and study how geometric optimization can be used to compute the corresponding estimator. Promising experimental results on both simulated and real data complete our study.

研究动机与目标

• 将结构化预测从有限输出空间扩展至连续的流形值输出。
• 刻画一类广义的损失函数（特别是平方测地距离），其满足统计一致性所必需的结构假设。
• 开发一种计算上可行的学习算法，确保预测结果始终位于流形上。
• 在真实世界问题（如指纹重建和基于统计流形的多标签分类）上实证验证该方法。

提出的方法

• 将流形值回归建模为基于损失函数 △(y, y') = ⟨ψ(y), Vψ(y')⟩H 的经验风险最小化问题，其中 △ 为结构编码损失函数（SELF）。
• 推导出估计器 bf(x) = argmin_{y∈Y} ∑ᵢ αᵢ(x)△(y, yᵢ)，其中系数 α(x) 通过输入空间上的核岭回归计算得到。
• 使用黎曼梯度下降求解测试阶段在输出流形上的最小化问题，确保预测结果始终位于流形上。
• 在输入空间上使用正定核 k(x, x') 定义核矩阵 K，并计算 α(x) = (K + nλI)⁻¹Kx。
• 将该框架应用于正定锥（Pm++）和球面 S¹ 等流形，采用适当的测地距离和回归映射。
• 通过交叉验证确定超参数 λ 和 σ，并与 KRLS 基线在基准数据集上进行比较。

实验结果

研究问题

• RQ1 哪些定义在黎曼流形上的损失函数可实现统计一致的结构化预测？
• RQ2 所提出的框架能否在保持一致性与有限样本界的同时，确保预测结果始终位于流形上？
• RQ3 与标准核方法相比，流形上的几何优化如何提升结构化输出设置下的性能？
• RQ4 在流形值回归中，使用测地距离作为损失函数会产生何种影响？

主要发现

• 所提出的方法对满足 SELF 条件的损失函数（包括黎曼流形上的平方测地距离）实现了普遍一致性。
• 在正定矩阵锥上，该方法在 △PD 损失下显著优于 KRLS，但在 Frobenius（最小二乘）损失下性能与之相当。
• 在指纹重建任务中，该方法相比 KRLS 和流形回归（MR）基线，显著降低了平均绝对误差，且预测结果更平滑、更精确。
• 在使用 Fisher 度量的单纯形流形上的多标签分类任务中，该方法取得了具有竞争力的 AUC 分数，在多个基准数据集上优于 KRLS。
• 该方法在合成数据和真实世界数据上均表现出鲁棒性与高精度，尤其在捕捉输出流形的内在几何结构方面表现突出。
• 尽管实验结果表现强劲，论文指出，几何优化步骤（如黎曼梯度下降）的收敛性尚未在理论上进行分析。