[论文解读] Certifiably Optimal Low Rank Factor Analysis

Dimitris Bertsimas, Martin S. Copenhaver+1 more|arXiv (Cornell University)|Apr 23, 2016

Sparse and Compressive Sensing Techniques参考文献 44被引用 11

一句话总结

本文提出了一种基于半定规划的可证明最优低秩因子分析方法，用于将协方差矩阵分解为一个低秩半正定分量和一个对角线的特殊方差矩阵。通过将秩约束问题重新表述为光滑的凸约束优化问题，并结合非线性优化与全局优化技术，该方法在大规模问题上实现了可证明的最优解，显著提升了现有方法的准确性和可扩展性。

ABSTRACT

Factor Analysis (FA) is a technique of fundamental importance that is widely used in classical and modern multivariate statistics, psychometrics and econometrics. In this paper, we revisit the classical rank-constrained FA problem, which seeks to approximate an observed covariance matrix ($\boldsymbolΣ$), by the sum of a Positive Semidefinite (PSD) low-rank component ($\boldsymbolΘ$) and a diagonal matrix ($\boldsymbolΦ$) (with nonnegative entries) subject to $\boldsymbolΣ- \boldsymbolΦ$ being PSD. We propose a flexible family of rank-constrained, nonlinear Semidefinite Optimization based formulations for this task. We introduce a reformulation of the problem as a smooth optimization problem with convex compact constraints and propose a unified algorithmic framework, utilizing state of the art techniques in nonlinear optimization to obtain high-quality feasible solutions for our proposed formulation. At the same time, by using a variety of techniques from discrete and global optimization, we show that these solutions are certifiably optimal in many cases, even for problems with thousands of variables. Our techniques are general and make no assumption on the underlying problem data. The estimator proposed herein, aids statistical interpretability, provides computational scalability and significantly improved accuracy when compared to current, publicly available popular methods for rank-constrained FA. We demonstrate the effectiveness of our proposal on an array of synthetic and real-life datasets. To our knowledge, this is the first paper that demonstrates how a previously intractable rank-constrained optimization problem can be solved to provable optimality by coupling developments in convex analysis and in discrete optimization.

研究动机与目标

• 为解决高维情形下秩约束因子分析问题的可证明最优性这一长期挑战，该方法提供了有效方案。
• 开发一种灵活、可扩展且精确的低秩因子分析优化框架，通过明确的公共因子与特殊因子分解，确保统计可解释性。
• 通过提供全局最优解及其最优性认证，克服当前因子分析中启发式与局部优化方法的局限性。
• 使低秩因子分析能够应用于包含数千个变量的大规模真实数据集，而此前的方法无法保证解的质量。
• 统一凸分析与离散优化技术，求解此前被认为计算上不可行的一类非凸、秩约束半定规划问题。

提出的方法

• 该方法将低秩因子分析问题表述为具有凸紧约束的非线性半定规划，从而可使用先进的非线性优化求解器。
• 通过使用Schatten q-范数最小化对秩约束问题进行重构，以逼近协方差矩阵减去对角分量后的最优低秩逼近。
• 该方法利用基于对偶的松弛技术，将非凸的秩约束转化为凸半定规划，通过对偶间隙实现全局最优性的认证。
• 统一的算法框架结合了内点法用于光滑优化，以及来自离散优化的分支定界与割平面技术，以认证全局最优性。
• 利用对称矩阵前 r 个最大特征值之和可表示为线性半定规划的性质，通过凸松弛精确计算低秩逼近。
• 应用Danskin定理推导对偶函数的次梯度，从而实现对偶问题的高效次梯度优化。

实验结果

研究问题

• RQ1 能否通过结合凸优化与离散优化技术，将秩约束因子分析问题求解至可证明的全局最优？
• RQ2 如何将可证明最优的低秩因子分析的计算可扩展性扩展至包含数千个变量的问题？
• RQ3 与现有启发式或局部优化方法相比，该方法在因子分析中能将解的准确性提升多少？
• RQ4 与传统的基于Frobenius范数的方法相比，Schatten q-范数形式是否能提供更鲁棒且更具统计可解释性的低秩逼近？
• RQ5 对偶性与凸松弛在实现非凸、秩约束半定规划的全局最优性认证中起到何种作用？

主要发现

• 通过结合非线性优化与全局优化技术，该方法在包含数千个变量的情况下，仍能实现低秩因子分析问题的可证明最优解。
• 与现有公开可用的方法相比，该方法在恢复合成数据集与真实数据集中真实底层低秩结构方面，表现出显著的准确性提升。
• 基于对偶的松弛方法可通过凸半定规划实现最优低秩分量的精确恢复，且最优性间隙可被严格界定。
• 该算法即使在非凸且存在秩约束的情况下，也能收敛到具有可证明最优性保证的解，这得益于对特征值优化结构的利用。
• 该框架具有通用性，不依赖于底层数据的假设，因此在心理测量学、计量经济学和多元统计学等领域具有广泛适用性。
• 在合成与真实数据集上的实证结果表明，该方法在统计可解释性与更精确的分解方面，优于当前最先进的方法。