[论文解读] Convex Factorization Machine for Regression

Makoto Yamada, Lian, Wenzhao+7 more|arXiv (Cornell University)|Jul 4, 2015

Tensor decomposition and applications参考文献 35被引用 4

一句话总结

本文提出凸因子分解机（CFM），即因子分解机（FM）的凸变体，通过使用ℓ₂范数和迹范数正则化，将矩阵补全问题表述为半定规划（SDP），以确保获得全局最优解。CFM在毒理基因组学预测任务中表现优于最先进方法，同时保持了简洁性，并可推广至多视图和张量因子分解问题。

ABSTRACT

We propose the convex factorization machine (CFM), which is a convex variant of the widely used Factorization Machines (FMs). Specifically, we employ a linear+quadratic model and regularize the linear term with the $\ell_2$-regularizer and the quadratic term with the trace norm regularizer. Then, we formulate the CFM optimization as a semidefinite programming problem and propose an efficient optimization procedure with Hazan's algorithm. A key advantage of CFM over existing FMs is that it can find a globally optimal solution, while FMs may get a poor locally optimal solution since the objective function of FMs is non-convex. In addition, the proposed algorithm is simple yet effective and can be implemented easily. Finally, CFM is a general factorization method and can also be used for other factorization problems including including multi-view matrix factorization and tensor completion problems. Through synthetic and movielens datasets, we first show that the proposed CFM achieves results competitive to FMs. Furthermore, in a toxicogenomics prediction task, we show that CFM outperforms a state-of-the-art tensor factorization method.

研究动机与目标

• 为解决因子分解机（FMs）因非凸优化导致收敛至较差局部最优解的局限性。
• 开发FM的凸形式，通过半定规划确保获得全局最优解。
• 在矩阵补全与因子分解任务中实现稳健且稳定的训练，特别是在低数据量或高稀疏性场景下。
• 将该框架推广至多视图与张量因子分解问题，包括毒理基因组学预测。
• 提供一种简单、可实现的算法，在真实世界应用中表现优于现有最先进方法。

提出的方法

• 通过ℓ₂范数正则化线性项、迹范数正则化二次交互项，将FM目标函数转化为凸半定规划（SDP）。
• 通过共享潜在因子的分解，将二次交互矩阵表示为低秩半正定矩阵。
• 使用Hazan的Frank-Wolfe算法求解所得SDP，该算法高效且适用于大规模问题。
• 通过拼接特征向量整合辅助信息，支持使用额外数据（如基因表达或药物特征）。
• 通过将各视图拼接为单个矩阵，实现多视图因子分解，并学习统一的低秩表示。
• 使用迹范数正则化促进交互矩阵中的低秩结构，确保泛化性与稳定性。

实验结果

研究问题

• RQ1 因子分解机的凸重构能否实现全局最优解，从而避免非凸FM中常见的不良局部极小值？
• RQ2 所提出的凸因子分解机（CFM）在真实世界回归任务中，相较于标准FM与最先进张量因子分解方法的性能如何？
• RQ3 CFM在多视图与张量因子分解问题（如毒理基因组学数据整合）中的泛化能力如何？
• RQ4 在生物数据中，引入手工设计特征（如最近邻相似度的均值与标准差）是否能提升预测性能？
• RQ5 所提算法能否在保持收敛性保证的前提下，高效实现并扩展至大规模稀疏数据集？

主要发现

• 在合成数据与MovieLens数据集上，CFM与标准FM性能相当，证明其在标准矩阵补全任务中的有效性。
• 在毒理基因组学数据上，CFM显著优于最先进方法Bayesian Multi-view Tensor Factorization（BMTF），平均相对MSE为0.4037，而BMTF为0.4811。
• 引入手工设计特征（如m个最近邻相似度的均值与标准差）可提升CFM性能，当m=5时，平均相对MSE从0.5624降至0.5215。
• CFM在100次随机数据划分中表现出鲁棒性与稳定性，标准误差较低（如多视图设置下平均相对MSE的标准误差为0.0163），表明性能一致。
• 该方法在标准矩阵因子分解之外也表现出良好泛化能力，成功解决多视图与张量补全问题，并取得强实证结果。
• CFM框架被证明是核范数正则化矩阵因子分解的一个特例，证实其理论严谨性与广泛应用潜力。