[論文レビュー] Provable non-convex projected gradient descent for a class of constrained matrix optimization problems.

Dohyung Park, Anastasios Kyrillidis+3 more|arXiv (Cornell University)|Jun 4, 2016

Sparse and Compressive Sensing Techniques参考文献 4被引用数 9

ひとこと要約

本稿では、強い凸的目的関数と行列ノルム制約を伴う低ランク正定値行列問題に対するスケーラブルな非凸最適化手法、Projected Factored Gradient Descent (ProjFGD) を提案する。本手法は、新しい降下補題を活用することで、因子化空間において局所的線形収束を達成し、量子状態トモグラフィーや位相再構成への応用において、証明可能な収束性を提供する。

ABSTRACT

We propose a simple and scalable non-convex method for low-rank PSD matrix problems with a generic (strongly) convex objective $f$, and additional matrix norm constraints. Such criteria appear in quantum state tomography and phase retrieval applications, among others. However, without careful design, existing methods quickly run into time and memory bottlenecks, as problem dimensions increase. To remedy these shortcomings, we propose the Projected Factored Gradient Descent (ProjFGD) algorithm, that operates on the low-rank factorization of the variable space. Such factorization imputes non-convexity in the optimization; nevertheless, we show that our method favors local linear convergence rate in the non-convex factored space, for a class of convex norm-constrained problems. We build our theory on a novel descent lemma, that extends recent results on the unconstrained version of the problem. Our findings are supported by empirical evidence on quantum state tomography and sparse phase retrieval applications.

研究の動機と目的

• 大規模な制約付き低ランク行列最適化問題におけるスケーラビリティとメモリボトルネックを解決すること。
• ノルム制約を伴う凸行列問題の非凸的因子化定式化に対して、証明可能な収束性を持つ手法を開発すること。
• 未定の非凸行列最適化に、最近の非制約下での収束理論を、新しい降下補題を用いて制約付きに拡張すること。
• 量子状態トモグラフィーやスパース位相再構成などの実世界問題を、効率的に解けるようにすること。

提案手法

• 行列変数の低ランク因子化を用いて次元削減を図り、スケーラブルな最適化を可能にする。
• 反復点が行列ノルム制約で定義される実行可能集合上に投影される、因子化空間における射影勾配降下を適用する。
• 非凸的因子化定式化における収束保証を確立するために、新しい降下補題を導出する。
• 強い凸的目的関数を採用することで、望ましい収束挙動を保証する。
• 射影ステップにより、核ノルムやフロベニウスノルムの上限などの制約が強制される。
• 高コストの特異値分解（SVD）や高メモリ消費の演算を回避するように設計されており、シンプルで効率的である。

実験結果

リサーチクエスチョン

• RQ1 強い凸的目的関数を伴う制約付き低ランク行列問題に対して、非凸的因子化最適化手法が、局所的線形収束を達成できるか。
• RQ2 制約が存在する非凸的因子化空間において、収束をどのようにして証明的に確立できるか。
• RQ3 新しい降下補題が、非制約下での収束結果を制約付きに拡張する役割を果たすのはどのようなものか。
• RQ4 大規模な高次元問題において、メモリや時間のボトルネックを回避しながら、効率的にスケーリングできるか。
• RQ5 量子状態トモグラフィーのような実世界の応用において、理論的保証を維持しながら実用的に効率的か。

主な発見

• ProjFGDアルゴリズムは、凸的ノルム制約付き行列最適化問題のクラスに対して、非凸的因子化空間で局所的線形収束を達成する。
• 非制約下での最近の結果を拡張する新しい降下補題により、収束が保証される。
• 従来のアプローチが大規模問題で抱えるメモリと時間のボトルネックを回避し、スケーラブルである。
• 実験結果により、量子状態トモグラフィーやスパース位相再構成タスクにおいて、本手法の有効性が確認された。
• 理論的枠組みは、強い凸性と制約条件のもとで、非凸因子化を保ちながら収束性を維持できることを支持する。