[论文解读] Low-rank Interaction with Sparse Additive Effects Model for Large Data Frames

Geneviève Robin, Hoi-To Wai+3 more|arXiv (Cornell University)|Dec 20, 2018

CCD and CMOS Imaging Sensors被引用 4

一句话总结

本文提出低秩交互作用与稀疏加法效应模型（LORIS），一种凸的双重惩罚拟最大似然框架，可联合估计大规模异质性、不完整数据框中的低秩交互作用与稀疏主效应（如行、列、协变量效应）。该方法引入一种混合坐标梯度下降（MCGD）算法，具有可证明的 O(1/ε) 次线性收敛速度，在模拟数据与调查数据上的插补与估计任务中优于基于预处理的方法。

ABSTRACT

Many applications of machine learning involve the analysis of large data frames-matrices collecting heterogeneous measurements (binary, numerical, counts, etc.) across samples-with missing values. Low-rank models, as studied by Udell et al. [30], are popular in this framework for tasks such as visualization, clustering and missing value imputation. Yet, available methods with statistical guarantees and efficient optimization do not allow explicit modeling of main additive effects such as row and column, or covariate effects. In this paper, we introduce a low-rank interaction and sparse additive effects (LORIS) model which combines matrix regression on a dictionary and low-rank design, to estimate main effects and interactions simultaneously. We provide statistical guarantees in the form of upper bounds on the estimation error of both components. Then, we introduce a mixed coordinate gradient descent (MCGD) method which provably converges sub-linearly to an optimal solution and is computationally efficient for large scale data sets. We show on simulated and survey data that the method has a clear advantage over current practices, which consist in dealing separately with additive effects in a preprocessing step.

研究动机与目标

• 为解决现有统计与计算框架在大规模异质性不完整数据框中无法同时建模低秩交互作用与主加法效应（如行、列、协变量效应）的问题。
• 克服现有方法的局限性，这些方法或忽略主效应，或需经过如均值中心化等预处理步骤，而此类步骤在大规模异质性数据上可能降低性能。
• 开发一种统计上稳健的凸优化框架，为低秩与稀疏分量提供非渐近误差界。
• 设计一种计算高效、可扩展的算法——MCGD，支持分布式实现，并可证明在 O(1/ε) 次迭代内收敛至 ε-最优解。

提出的方法

• LORIS 模型结合字典上的矩阵回归与低秩逼近，采用凸的双重惩罚拟似然方法，通过核范数松弛实现秩约束，通过 ℓ1-惩罚实现稀疏性。
• 该方法通过最小化包含异质指数族拟似然（适用于混合数据类型，如二值、计数、连续型）的损失函数，联合估计低秩分量与稀疏加法效应。
• 混合坐标梯度下降（MCGD）算法对稀疏分量采用近端更新，对低秩分量采用条件梯度（Frank-Wolfe 类型）更新，实现高效且可扩展的优化。
• 该算法采用混合更新策略：对稀疏性使用近端更新，对低秩结构使用条件梯度步长，步长通过线搜索确定，且在分布式环境中聚合局部梯度。
• 在分布式实现中，方法在数据分区上并行计算主导奇异向量与梯度，仅将矩阵-向量乘积传输至中心服务器，以保护数据隐私。
• 证明收敛速度为次线性 O(1/ε)，并采用新颖证明技术表明该方法收敛速度严格快于 FW-T 方法。

实验结果

研究问题

• RQ1 是否存在统一的统计模型，可在具有理论保证的前提下，联合估计大规模异质性不完整数据框中的低秩交互作用与稀疏加法效应（如行、列、协变量效应）？
• RQ2 所提出的 MCGD 算法是否在收敛速度上严格快于现有的一阶方法（如 FW-T），特别是在大规模场景下？
• RQ3 在估计精度与缺失值插补质量方面，LORIS 模型相较于标准预处理方法（如均值中心化）表现如何？
• RQ4 在预处理过程中忽略主效应会对大规模异质性数据框中的下游分析产生何种影响？
• RQ5 MCGD 算法能否在不暴露原始数据的前提下，高效地在多个工作节点间分布执行，同时保持收敛性与隐私性？

主要发现

• LORIS 模型为低秩与稀疏加法分量均提供了非渐近估计误差上界，提供了强有力的统计保证。
• MCGD 算法以 O(1/ε) 的次线性速率收敛至 ε-最优解，其收敛速度因新颖证明技术而严格快于 FW-T 方法。
• 在模拟数据与真实调查数据上，该方法在估计精度与缺失值插补质量方面均优于标准预处理启发式方法（如均值中心化）。
• 分布式 MCGD 实现的每轮计算复杂度在中心服务器为 O(|Ξ| + max{n,p} log(1/δ))，在每个工作节点为 O(|Ωk|max{n,p} log(1/δ))，随数据分区高效扩展。
• 通过仅传输矩阵-向量乘积而非原始梯度，该算法保护了数据隐私，支持安全的分布式计算。
• 数值实验表明，通过预处理移除行与列效应会导致性能严重下降，验证了联合建模的必要性。