[論文レビュー] Low-rank optimization with trace norm penalty

Bamdev Mishra, Gilles Meyer+2 more|arXiv (Cornell University)|Dec 11, 2011

Sparse and Compressive Sensing Techniques参考文献 31被引用数 6

ひとこと要約

本稿では、トレースノルム正則化付き低ランク行列最適化のためのリーマン的信頼域アルゴリズムを提案する。固定ランク最適化とランク1更新を活用することで、超線形収束を達成する。この手法は行列次元に対して線形な計算量を保ち、予測子・修正子戦略により全正則化パスを効率的に計算する。行列補完および回帰タスクにおいて、標準的手法を上回る性能を示す。

ABSTRACT

The paper addresses the problem of low-rank trace norm minimization. We propose an algorithm that alternates between fixed-rank optimization and rank-one updates. The fixed-rank optimization is characterized by an efficient factorization that makes the trace norm differentiable in the search space and the computation of duality gap numerically tractable. The search space is nonlinear but is equipped with a particular Riemannian structure that leads to efficient computations. We present a second-order trust-region algorithm with a guaranteed quadratic rate of convergence. Overall, the proposed optimization scheme converges super-linearly to the global solution while maintaining complexity that is linear in the number of rows and columns of the matrix. To compute a set of solutions efficiently for a grid of regularization parameters we propose a predictor-corrector approach that outperforms the naive warm-restart approach on the fixed-rank quotient manifold. The performance of the proposed algorithm is illustrated on problems of low-rank matrix completion and multivariate linear regression.

研究の動機と目的

• 機械学習や高次元統計における、トレースノルム正則化付きの大規模低ランク行列最適化問題に対処すること。
• 行列サイズに対して線形な計算量を維持しながら、高い精度を達成できる数値的に効率的なアルゴリズムの開発。
• 正則化パラメータλの複数の値にわたる全正則化パスを、繰り返しのフル最適化なしに効率的に計算すること。
• ランク1更新と双対ギャップのモニタリングを通じて、最適な低ランク解へのグローバル収束を保証すること。
• 一階最適化法および特異値しきい値処理に基づく既存手法と比較して、収束速度と計算コストの面で優れるようにすること。

提案手法

• 解空間のパrameter化を可能にするために、X = UBVᵀ（Bは対称正定値行列）という低ランク因子分解を用いることで、リーマン最適化を実現する。
• 正規直交行列UとVの商多様体上で固定ランク最適化を実行し、効率的な信頼域更新を可能にするリーマン構造を備える。
• 2次最適化法としての信頼域法を採用し、リーマン多様体上でのヘッシアン近似を用いて2次収束率を達成する。
• 局所最適解からの脱出と段階的ランク増加のため、ランク1更新を適用し、グローバル最適性に到達するまで反復する。
• 最適化中にλを動的に調整する予測子・修正子戦略を採用し、異なるλ値に対して局所最適解をグローバル解に変換する。
• 選択されたパrameter化により、双対ギャップを効率的に計算し、グローバル最適性の検証とランク更新の指針とする。

実験結果

リサーチクエスチョン

• RQ1 固定ランク設定下で、トレースノルム最小化のためのリーマン的信頼域アルゴリズムは、行列次元に対して線形な計算量を維持しながら、超線形収束を達成できるか？
• RQ2 繰り返しのフル最適化なしに、λの複数の値にわたる正則化パスを効率的に計算する方法は何か？
• RQ3 ランク1更新は、局所最適解からの脱出とグローバル収束の保証に果たす役割は何か？
• RQ4 特異値ソフトしきい値処理に依存する一階最適化手法と比較して、本手法の性能と効率性はどのように異なるか？
• RQ5 固定ランク設定下で双対ギャップを効率的に計算できるか？ これによりグローバル最適性の証明が可能か？

主な発見

• 提案手法はグローバル解への超線形収束を達成し、収束速度において標準的一階最適化手法を顕著に上回る。
• 1反復あたりの計算量は、行数と列数に対して線形に増加し、非常に高次元な問題（n > 10⁶）に対しても適している。
• 固定ランク多様体上での予測子・修正子戦略は、単純なウォームスタート戦略よりも効率的である。
• リーマンパラメータ化により、双対ギャップを数値的に容易に計算でき、グローバル最適性の証明が可能になる。
• 行列補完および多変量回帰タスクにおいて、既存のトレースノルム最小化法および固定ランクソルバーよりも優れた性能を示す。
• 2次信頼域ステップの導入により、固定ランク部分問題において2次収束率が達成され、全体の効率性が向上する。