[論文レビュー] Certifiably Optimal Low Rank Factor Analysis

Dimitris Bertsimas, Martin S. Copenhaver+1 more|arXiv (Cornell University)|Apr 23, 2016

Sparse and Compressive Sensing Techniques参考文献 44被引用数 11

ひとこと要約

本稿では、共分散行列を低ランク正定値成分と固有分散の対角行列に分解するための、証明可能に最適な低ランク要因分析手法を、半定値最適化を用いて提案する。ランク制約付き問題を滑らかで凸性制約付きの最適化に再定式化し、非線形最適化とグローバル最適化手法を組み合わせることで、大規模問題に対しても証明可能な最適解を達成し、従来の手法に比べて精度とスケーラビリティが顕著に向上する。

ABSTRACT

Factor Analysis (FA) is a technique of fundamental importance that is widely used in classical and modern multivariate statistics, psychometrics and econometrics. In this paper, we revisit the classical rank-constrained FA problem, which seeks to approximate an observed covariance matrix ($\boldsymbolΣ$), by the sum of a Positive Semidefinite (PSD) low-rank component ($\boldsymbolΘ$) and a diagonal matrix ($\boldsymbolΦ$) (with nonnegative entries) subject to $\boldsymbolΣ- \boldsymbolΦ$ being PSD. We propose a flexible family of rank-constrained, nonlinear Semidefinite Optimization based formulations for this task. We introduce a reformulation of the problem as a smooth optimization problem with convex compact constraints and propose a unified algorithmic framework, utilizing state of the art techniques in nonlinear optimization to obtain high-quality feasible solutions for our proposed formulation. At the same time, by using a variety of techniques from discrete and global optimization, we show that these solutions are certifiably optimal in many cases, even for problems with thousands of variables. Our techniques are general and make no assumption on the underlying problem data. The estimator proposed herein, aids statistical interpretability, provides computational scalability and significantly improved accuracy when compared to current, publicly available popular methods for rank-constrained FA. We demonstrate the effectiveness of our proposal on an array of synthetic and real-life datasets. To our knowledge, this is the first paper that demonstrates how a previously intractable rank-constrained optimization problem can be solved to provable optimality by coupling developments in convex analysis and in discrete optimization.

研究の動機と目的

• 高次元においても困難であった、ランク制約付き要因分析問題を証明可能な最適性で解くという長年の課題に取り組むこと。
• 共通因子と固有因子に明確に分解可能な統計的解釈性を保証しつつ、柔軟でスケーラブルで高精度な低ランク要因分析の最適化フレームワークを構築すること。
• 現在の要因分析で用いられているヒューリスティック法や局所最適化手法の限界を克服し、最適性の証明が可能なグローバル最適解を提供すること。
• 数千の変数を含む大規模な実世界のデータセットへの低ランク要因分析の適用を可能にし、従来の手法では解の品質を保証できなかった問題を解決すること。
• 凸解析と離散最適化技術を統合し、かつて計算的に扱いにくかった非凸的でランク制約付き半定値計画問題のクラスを解くこと。

提案手法

• 本手法は、凸コンパクト制約付きの非線形半定値計画問題として低ランク要因分析問題を定式化し、高度な非線形最適化ソルバの利用を可能にする。
• ランク制約付き問題をスチャッテン q-ノルムの最小化を用いて再定式化し、共分散行列から対角成分を差し引いたものの最良の低ランク近似を近似する。
• 非凸的ランク制約を凸半定値計画に変換する双対に基づく緩和法を導入し、双対ギャップを用いてグローバル最適性の証明を可能にする。
• 内点法による滑らかな最適化と、離散最適化の分枝限定法およびカットプレーン法を統合した統一されたアルゴリズムフレームワークを構築し、グローバル最適性の証明を実現する。
• 対称行列の上位 r 個の固有値の和が線形半定値計画として表現可能であるという事実を活用し、凸緩和を用いて正確な低ランク近似を計算可能にする。
• ダンスキンの定理を適用して双対関数の部分勾配を導出し、双対問題に対する効率的な部分勾配ベース最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 凸最適化と離散最適化手法を統合することで、ランク制約付き要因分析問題を証明可能なグローバル最適性で解くことは可能か？
• RQ2 証明可能に最適な低ランク要因分析の計算スケーラビリティを、数千の変数を含む問題にまで拡張できるか？
• RQ3 提案手法は、従来のヒューリスティック法や局所最適化アプローチと比較して、どの程度解の精度を向上させるか？
• RQ4 スチャッテン q-ノルムの定式化は、従来のフロベニウスノルムベースの手法と比較して、よりロバストで統計的に解釈可能な低ランク近似を提供できるか？
• RQ5 双対性と凸緩和は、非凸的でランク制約付き半定値計画問題に対して、グローバル最適性の証明を可能にする役割を果たすか？

主な発見

• 本手法は、非線形最適化とグローバル最適化手法を統合することで、数千の変数を含む低ランク要因分析問題に対しても、証明可能な最適解を達成する。
• 本手法は、合成データおよび実データの両方において、現在公開されている手法と比較して顕著な精度向上を示し、真の低ランク構造の回復に優れている。
• 双対に基づく緩和法により、凸半定値計画による最適な低ランク成分の正確な回復が可能となり、最適性ギャップを厳密に境界付けられる。
• 固有値最適化の構造を活用することで、非凸的かつランク制約付きの問題に対しても、最適性保証付きの解に収束する。
• 本フレームワークは一般性に富んでおり、データの背後にある仮定を一切設けないため、心理測定学、計量経済学、多変量統計の分野に広く応用可能である。
• 合成データおよび実データに対する実験結果から、本手法は最先端の代替手法と比較して、より優れた統計的解釈性と高精度な分解を提供することが確認された。