[论文解读] A Unified Joint Matrix Factorization Framework for Data Integration

Lihua Zhang, Shihua Zhang|arXiv (Cornell University)|Jul 25, 2017

Gene expression and cancer classification参考文献 33被引用 4

一句话总结

本文提出了一种统一的联合矩阵分解（JMF）框架，通过使用带有稀疏多关系正则化的非负矩阵分解（NMF），整合多个数据矩阵，实现模式发现与数据集成的同步进行。该框架采用四种高效的优化算法——PGM、FGM、APG 和 PANLS，在合成数据集和真实世界数据集上的模式识别与数据挖掘任务中表现出优越性能，尤其在生物信息学和多视角学习场景中表现突出。

ABSTRACT

Nonnegative matrix factorization (NMF) is a powerful tool in data exploratory analysis by discovering the hidden features and part-based patterns from high-dimensional data. NMF and its variants have been successfully applied into diverse fields such as pattern recognition, signal processing, data mining, bioinformatics and so on. Recently, NMF has been extended to analyze multiple matrices simultaneously. However, a unified framework is still lacking. In this paper, we introduce a sparse multiple relationship data regularized joint matrix factorization (JMF) framework and two adapted prediction models for pattern recognition and data integration. Next, we present four update algorithms to solve this framework. The merits and demerits of these algorithms are systematically explored. Furthermore, extensive computational experiments using both synthetic data and real data demonstrate the effectiveness of JMF framework and related algorithms on pattern recognition and data mining.

研究动机与目标

• 解决在具有不同关系的多个数据矩阵上缺乏统一的联合矩阵分解框架的问题。
• 将稀疏的多关系数据（例如必须连接/不能连接约束）整合到单一基于NMF的分解模型中。
• 开发高效、可扩展的优化算法，同时保持非负性与收敛性保证。
• 在多视角和多组学数据设置中实现有效的数据集成与模式识别，例如在生物信息学中的应用。
• 系统比较并评估多种优化策略在联合矩阵分解背景下的性能表现。

提出的方法

• 提出一种统一的JMF框架，联合分解多个非负数据矩阵 $X_I$，表示为 $X_I \approx W H_I$，其中 $W$ 为共享基矩阵，$H_I$ 为各视角特定的系数矩阵。
• 通过拉普拉斯矩阵 $\Theta^s$ 引入网络正则化约束，以保持局部结构并强制跨数据类型实现必须连接/不能连接关系。
• 通过在 $W$ 和 $H_I$ 上施加 $\ell_1$-范数实现稀疏性正则化，促进基于部分的可解释性表示。
• 采用四种不同的优化算法：投影梯度法（PGM）、快速梯度法（FGM）、加速近端梯度法（APG）和近端交替方向线性化最小化法（PANLS），每种算法均针对收敛性与效率进行定制。
• 使用交替优化与块坐标更新策略，其中在非负性与稀疏性约束下迭代更新 $W$ 和 $H_I$。
• 在PANLS中应用近端与共轭梯度技术以加速收敛并处理非光滑项，结合自适应线搜索与活动集策略。

实验结果

研究问题

• RQ1 统一的联合矩阵分解框架是否能有效整合具有异质关系与结构的多个数据矩阵？
• RQ2 在所提出的JMF框架中，不同优化算法（PGM、FGM、APG、PANLS）在收敛速度、稳定性与解质量方面如何比较？
• RQ3 引入网络正则化与稀疏性约束在多视角数据中在多大程度上提升了分解模式的可解释性与准确性？
• RQ4 JMF框架在真实世界数据集成任务中表现如何，特别是在生物信息学与模式识别中的应用？
• RQ5 调节参数 $\lambda_1$、$\gamma_2$ 与 $\eta$ 对模型性能与鲁棒性有何影响？

主要发现

• 与基线NMF和jNMF模型相比，所提出的JMF框架在合成数据集与真实数据集上均显著提升了数据集成与模式识别性能。
• 在四种优化方法中，PANLS算法在收敛速度与解质量方面表现最佳，尤其在高维与噪声环境下表现突出。
• 引入网络正则化约束（如必须连接/不能连接）可使多组学数据集成任务中的聚类结果更加一致且具有生物学意义。
• 该框架成功揭示了多种数据类型（如基因表达与蛋白质-蛋白质相互作用网络）之间的共享模式与视角特异性模式。
• 在大量计算实验中，模型在不同噪声水平与缺失数据条件下均表现出鲁棒性与稳定性。
• 稀疏性约束的使用通过促进基于部分的表示，增强了特征的可解释性，这对生物信息学与信号处理等应用至关重要。