[论文解读] Learning Tensors in Reproducing Kernel Hilbert Spaces with Multilinear Spectral Penalties

Marco Signoretto, Lieven De Lathauwer+1 more|arXiv (Cornell University)|Oct 18, 2013

Tensor decomposition and applications参考文献 54被引用 15

一句话总结

本文提出了一种基于核函数的框架，用于在再生核希尔伯特空间中学习张量积函数，采用多线性谱正则化，实现了张量补全、迁移学习和多线性多任务学习的非线性扩展。提出了新颖的表示定理与块下降算法，实验表明在偏好学习和面部动作单元强度预测任务中，性能显著优于线性基线方法。

ABSTRACT

We present a general framework to learn functions in tensor product reproducing kernel Hilbert spaces (TP-RKHSs). The methodology is based on a novel representer theorem suitable for existing as well as new spectral penalties for tensors. When the functions in the TP-RKHS are defined on the Cartesian product of finite discrete sets, in particular, our main problem formulation admits as a special case existing tensor completion problems. Other special cases include transfer learning with multimodal side information and multilinear multitask learning. For the latter case, our kernel-based view is instrumental to derive nonlinear extensions of existing model classes. We give a novel algorithm and show in experiments the usefulness of the proposed extensions.

研究动机与目标

• 开发一种统一的基于核函数的框架，用于在张量积再生核希尔伯特空间（TP-RKHSs）中学习函数。
• 引入一类新型正则化器——多线性谱正则化，以推广现有的张量正则化方法。
• 通过基于核函数的函数形式，实现线性张量模型（如张量补全和多线性多任务学习）的非线性扩展。
• 为一般多线性谱正则化提供有效的表示定理，支持样本外预测。

提出的方法

• 通过从张量的功能展开中导出的多线性谱正则化，在TP-RKHS中将学习问题表述为带惩罚的期望风险最小化。
• 通过功能展开，将有限维张量工具（如矩阵化和多线性秩）推广至无限维函数空间。
• 提出一种新颖的表示定理，将解表征为有限维张量，从而支持实际计算。
• 提出一种块下降算法，用于求解结合了功能展开核范数之和与多线性秩约束的问题。
• 采用核函数（如高斯RBF）来建模数据中的非线性关系，尤其适用于迁移学习和多任务学习场景。
• 利用功能展开定义谱正则化，类似于有限维张量中的核范数，以确保在多个模式下保持低秩结构。

实验结果

研究问题

• RQ1 能否开发一种统一的基于核函数的框架，以推广现有的张量学习问题，如张量补全和多线性多任务学习？
• RQ2 谱正则化如何从有限维张量推广到再生核希尔伯特空间中的函数？
• RQ3 在此函数设定下，最优解的结构是什么？能否为多线性谱正则化建立表示定理？
• RQ4 能否从该基于核函数的框架中自然导出线性张量模型的非线性扩展？
• RQ5 所提出的方法在真实世界的张量学习任务中，与线性基线相比，其性能表现如何？

主要发现

• 所提出的框架将现有的张量补全、带有多种模态辅助信息的迁移学习，以及多线性多任务学习作为特例进行统一。
• 在偏好学习实验中，RBF核函数下的Mlrank-SNN将MSE降低至10.8×10−3（N=5000），显著优于LS-SVR（63.2×10−3）。
• 在面部动作单元强度预测任务中，RBF-Mlrank-SNN在N=700时达到0.118×10−3的MSE，优于MLMTL-C（0.109×10−3）和LS-SVR（0.200×10−3）。
• 块下降算法能有效求解结合核范数之和与多线性秩约束的问题，支持可扩展的优化。
• 新颖的表示定理确保了解可表示为有限维张量，从而使函数问题在计算上可行。
• 基于核函数的框架自然实现了线性张量模型的非线性扩展，实验结果表明其性能显著提升。