[论文解读] Integrative Multi-View Reduced-Rank Regression: Bridging Group-Sparse and Low-Rank Models

Gen Li, Xiaokang Liu+1 more|arXiv (Cornell University)|Jul 26, 2018

Sparse and Compressive Sensing Techniques参考文献 39被引用 3

一句话总结

本文提出整合性降秩回归（iRRR），一种凸方法，通过为每个预测视图使用特定视图的低秩系数矩阵，联合建模多个高维预测视图，以实现监督式潜在特征提取。该方法通过复合核范数惩罚桥接组稀疏性与低秩结构，相较于组稀疏或低秩方法实现更快的收敛速度，具有理论上的Oracle界，并在模拟数据和衰老研究数据上得到经验验证。

ABSTRACT

Multi-view data have been routinely collected in various fields of science and engineering. A general problem is to study the predictive association between multivariate responses and multi-view predictor sets, all of which can be of high dimensionality. It is likely that only a few views are relevant to prediction, and the predictors within each relevant view contribute to the prediction collectively rather than sparsely. We cast this new problem under the familiar multivariate regression framework and propose an integrative reduced-rank regression (iRRR), where each view has its own low-rank coefficient matrix. As such, latent features are extracted from each view in a supervised fashion. For model estimation, we develop a convex composite nuclear norm penalization approach, which admits an efficient algorithm via alternating direction method of multipliers. Extensions to non-Gaussian and incomplete data are discussed. Theoretically, we derive non-asymptotic oracle bounds of iRRR under a restricted eigenvalue condition. Our results recover oracle bounds of several special cases of iRRR including Lasso, group Lasso and nuclear norm penalized regression. Therefore, iRRR seamlessly bridges group-sparse and low-rank methods and can achieve substantially faster convergence rate under realistic settings of multi-view learning. Simulation studies and an application in the Longitudinal Studies of Aging further showcase the efficacy of the proposed methods.

研究动机与目标

• 解决仅部分视图相关且各视图内预测变量集体作用的多视图数据预测建模问题。
• 开发一个统一框架，整合组稀疏与低秩建模，用于高维预测变量的多元回归。
• 通过视图特定的低秩系数矩阵，实现从每个视图中进行监督式潜在特征提取。
• 在受限特征值条件下建立非渐近Oracle界，提供理论性能保证。
• 将方法扩展至非高斯和不完整数据设置，以增强适用性。

提出的方法

• 提出一种整合性降秩回归（iRRR）模型，为每个预测视图配置独立的低秩系数矩阵。
• 采用凸复合核范数惩罚，以在每个视图内鼓励低秩结构，并在视图间实现组级稀疏性。
• 使用交替方向乘数法（ADMM）高效求解惩罚似然问题。
• 在受限特征值条件下推导理论Oracle界，推广了Lasso、组Lasso和核范数回归的已知界。
• 通过适当的似然函数和插补策略，将框架扩展至非高斯响应和不完整数据。
• 将每个视图的系数矩阵视为低秩分量，实现各视图内预测变量的集体贡献。

实验结果

研究问题

• RQ1 统一的回归框架能否有效建模多个高维预测视图，且各视图内预测变量具有集体而非稀疏的贡献？
• RQ2 如何在凸优化框架中同时嵌入低秩与组稀疏结构，以实现多视图学习？
• RQ3 在现实的高维条件下，此类模型的理论性能保证可建立为何种形式？
• RQ4 与现有的组稀疏或低秩方法相比，所提方法是否实现更快的收敛速率？
• RQ5 在具有非高斯和不完整观测的现实世界数据上，该方法表现如何？

主要发现

• 在现实的多视图学习设置下，iRRR方法的收敛速率优于Lasso、组Lasso和核范数惩罚回归。
• 理论分析在受限特征值条件下建立了非渐近Oracle界，推广了特殊情形下的已知界。
• 该方法成功恢复了Lasso、组Lasso和低秩回归的Oracle界作为特例，证实了其理论稳健性。
• 模拟研究显示，在多种多视图配置下，预测精度和变量选择性能均得到提升。
• 在纵向衰老研究中的应用证实了该方法在识别具有集体效应的相关多视图预测变量方面的实际效用。
• 对非高斯和不完整数据的扩展显示出稳定性能，显著增强了现实世界适用性。