[論文レビュー] Run Procrustes, Run! On the convergence of accelerated Procrustes Flow.

Anastasios Kyrillidis, Shashanka Ubaru+2 more|arXiv (Cornell University)|Jun 1, 2018

Stochastic Gradient Optimization Techniques参考文献 57被引用数 3

ひとこと要約

本稿は、非凸最適化下での低ランク行列センシングにおける加速 Procrustes Flow の線形収束を確立し、加速が非加速手法と同等の条件数依存性を示しながらも、合成データおよび神経活動回復や量子状態トモグラフィーなどの実世界タスクにおける実用的性能を向上させることを示している。

ABSTRACT

In this work, we present theoretical results on the convergence of non-convex accelerated gradient descent in matrix factorization models. The technique is applied to matrix sensing problems with squared loss, for the estimation of a rank $r$ optimal solution $X^\star \in \mathbb{R}^{n imes n}$. We show that the acceleration leads to linear convergence rate, even under non-convex settings where the variable $X$ is represented as $U U^ op$ for $U \in \mathbb{R}^{n imes r}$. Our result has the same dependence on the condition number of the objective --and the optimal solution-- as that of the recent results on non-accelerated algorithms. However, acceleration is observed in practice, both in synthetic examples and in two real applications: neuronal multi-unit activities recovery from single electrode recordings, and quantum state tomography on quantum computing simulators.

研究の動機と目的

• 非凸行列因子分解問題における加速勾配降下法の収束挙動を分析すること。
• 二乗損失を伴う低ランク行列センシングにおける加速 Procrustes Flow に対する理論的保証を確立すること。
• 加速が非加速手法と同等の条件数依存性を維持しながら、実効的性能を向上させることを示すこと。
• 単一電極による神経多ユニット活動回復および量子状態トモグラフィーを含む実世界応用において、手法の有効性を検証すること。

提案手法

• 解 $X^\star$ をランク-$r$ と仮定し、$X = UU^\top$（$U \in \mathbb{R}^{n \times r}$）による因子分解を用いて非凸最適化を実施する。
• 因子化変数 $U$ に対して加速勾配降下法を適用し、モーメンタムを用いて収束速度を向上させる。
• 理論的分析は、二乗損失を伴う行列センシングに焦点を当て、非凸設定下での線形収束を証明する。
• 収束速度は目的関数および最適解の条件数に依存し、非加速手法と一致する。
• 合成実験および二つの実世界応用（単一電極による神経活動回復および量子状態トモグラフィー）を通じて、手法の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 加速 Procrustes Flow は非凸低ランク行列因子分解において線形収束を達成するか？
• RQ2 加速 Procrustes Flow の収束速度は、条件数依存性において非加速手法と比較してどのように異なるか？
• RQ3 加速 Procrustes Flow は合成設定を超えて、実世界応用において実用的に有効であるか？
• RQ4 非凸性下における行列センシングにおいて、モーメンタムは収束をどのように加速させるか？

主な発見

• 加速 Procrustes Flow は、$X = UU^\top$ を解の表現に用いても、非凸行列因子分解において線形収束を達成する。
• 収束速度は非加速アルゴリズムと同等の条件数依存性を示し、理論的堅牢性を示している。
• 合成実験において実用的な加速が観察され、理論的予測と一致している。
• 単一電極記録からの神経多ユニット活動回復において、優れた性能を示している。
• 量子コンピュータシミュレータ上での量子状態トモグラフィーにおいても強力な性能を示し、実世界応用への妥当性が検証された。