[论文解读] A Generalized Kernel Approach to Structured Output Learning

Hachem Kadri, Mohammad Ghavamzadeh+1 more|arXiv (Cornell University)|May 10, 2012

Neural Networks and Applications参考文献 29被引用 20

一句话总结

本文提出了一种基于算子值核的广义核方法，用于结构化输出学习，通过建模输出相关性和输入-输出依赖关系，克服了传统核依赖估计（KDE）的局限性。该方法引入了一种基于协方差的算子值核及其条件协方差变体，通过低秩近似实现更高的准确率与可扩展性，在人脸图像重建与结构化预测任务中达到最先进性能。

ABSTRACT

We study the problem of structured output learning from a regression perspective. We first provide a general formulation of the kernel dependency estimation (KDE) problem using operator-valued kernels. We show that some of the existing formulations of this problem are special cases of our framework. We then propose a covariance-based operator-valued kernel that allows us to take into account the structure of the kernel feature space. This kernel operates on the output space and encodes the interactions between the outputs without any reference to the input space. To address this issue, we introduce a variant of our KDE method based on the conditional covariance operator that in addition to the correlation between the outputs takes into account the effects of the input variables. Finally, we evaluate the performance of our KDE approach using both covariance and conditional covariance kernels on two structured output problems, and compare it to the state-of-the-art kernel-based structured output regression methods.

研究动机与目标

• 为解决经典KDE在结构化输出学习中的局限性，特别是输出解耦与缺乏联合输入-输出建模的问题。
• 提出一种使用算子值核的KDE通用公式化方法，以捕捉输出之间的依赖关系以及输入与输出之间的依赖关系。
• 提出一种新型基于协方差的算子值核，其在不依赖输入空间的情况下编码输出结构。
• 提出一种条件协方差算子变体，将输入影响整合到输出相关性建模中。
• 通过不完全Cholesky分解实现的低秩近似，提升KDE的可扩展性与性能。

提出的方法

• 使用算子值核而非标量值核，将结构化输出学习建模为回归问题，从而实现对输出依赖关系的联合建模。
• 引入一种基于协方差的算子值核，在输出空间中操作，通过核特征空间结构对输出之间的相互作用进行建模。
• 开发一种基于条件协方差算子的核，将输入变量整合到输出相关性建模中，增强对输入-输出依赖关系的捕捉能力。
• 将核技巧推广至算子值核，实现在无需显式计算特征映射的情况下进行预像计算。
• 采用不完全Cholesky分解实现高效的低秩近似，使方法可扩展至大规模数据集。
• 实验中对输入使用RBF核，对输出使用线性核，核参数通过交叉验证进行优化。

实验结果

研究问题

• RQ1 算子值核是否能通过比标量值核更有效地建模输出之间的依赖关系，从而提升结构化输出学习性能？
• RQ2 在基于核的结构化输出回归中，如何显式建模输入-输出依赖关系？
• RQ3 一种基于协方差的算子值核是否能在结构化预测任务中优于标准KDE？
• RQ4 所提出的条件协方差核是否能在真实世界的结构化输出问题上优于现有KDE与JKM方法？
• RQ5 通过不完全Cholesky分解实现的低秩近似，在大规模结构化输出学习中，能在多大程度上在降低计算成本的同时保持性能？

主要发现

• 所提出的条件协方差KDE方法在人脸到人脸映射任务中实现了最低的均方误差（MSE）0.1130 ± 0.0014，优于JKM（0.1257 ± 0.0016）与标准KDE（0.1773 ± 0.0012）。
• 在1,200个训练样本下，条件协方差KDE的低秩近似仅使用30个选定样本即达到约0.115的MSE，优于使用全部1,200个样本的完整KDE方法。
• 算子值核的使用有效建模了输出相关性，解决了经典KDE中存在输出解耦的问题。
• 条件协方差核通过将输入影响整合到输出相关性建模中，显著提升了性能，证明了联合输入-输出依赖关系的重要性。
• 不完全Cholesky分解在保持高预测准确率的同时实现了显著的计算节省，证实了所提方法的可扩展性。
• 该方法在三个基准结构化输出问题上优于当前最先进的基于核的结构化输出回归技术，验证了其泛化能力与鲁棒性。