[論文レビュー] Convergence of a Grassmannian Gradient Descent Algorithm for Subspace Estimation From Undersampled Data

Dejiao Zhang, Laura Balzano|arXiv (Cornell University)|Oct 1, 2016

Sparse and Compressive Sensing Techniques参考文献 22被引用数 9

ひとこと要約

本稿では、ストリーミングでアンダーサンプルされたデータから部分空間推定を行うためのグラスマン多様体勾配降下法を提案する。適応的ステップサイズを用いることで、完全サンプリング下では真の部分空間へのグローバル収束を保証し、アンダーサンプリング下では期待値の単調増加を達成する。本手法はグラスマン多様体上に定義され、ガウス分布またはバイナリのサンプリング行列を用いた完全および圧縮センシングの両 regime において収束の理論的保証を提供する。

ABSTRACT

Subspace learning and matrix factorization problems have great many applications in science and engineering, and efficient algorithms are critical as dataset sizes continue to grow. Many relevant problem formulations are non-convex, and in a variety of contexts it has been observed that solving the non-convex problem directly is not only efficient but reliably accurate. We discuss convergence theory for a particular method: first order incremental gradient descent constrained to the Grassmannian. The output of the algorithm is an orthonormal basis for a $d$-dimensional subspace spanned by an input streaming data matrix. We study two sampling cases: where each data vector of the streaming matrix is fully sampled, or where it is undersampled by a sampling matrix $A_t\in \mathbb{R}^{m imes n}$ with $m\ll n$. Our results cover two cases, where $A_t$ is Gaussian or a subset of rows of the identity matrix. We propose an adaptive stepsize scheme that depends only on the sampled data and algorithm outputs. We prove that with fully sampled data, the stepsize scheme maximizes the improvement of our convergence metric at each iteration, and this method converges from any random initialization to the true subspace, despite the non-convex formulation and orthogonality constraints. For the case of undersampled data, we establish monotonic expected improvement on the defined convergence metric for each iteration with high probability.

研究の動機と目的

• ストリーミングデータ環境下で、グラスマン多様体上における部分空間推定のためのグローバルに収束するインクリメンタル勾配法を開発すること。
• データが完全に観測される場合およびガウス分布またはアイデンティティに基づくサンプリング行列によるアンダーサンプリングが行われる場合に、アルゴリズムの収束保証を確立すること。
• 観測データおよびアルゴリズムの出力のみに依存する、各反復で最適な改善を達成するための適応的ステップサイズルールを設計すること。
• 欠損または圧縮測定値が存在するアンダーサンプルデータ下でも、収束指標における単調な期待値改善を保証できることを示すこと。
• リアルタイムでメモリ制限のある学習応用に向けた多様体上での非凸最適化の理論的理解を拡張すること。

提案手法

• アルゴリズムは、R^n 内のすべての d 次元部分空間からなる多様体 G(n,d) 上でインクリメンタル勾配降下を実行する。
• ストリーミングデータベクトルからの逐次的更新を通じて、正規直交基底 U_t を反復的に改善するためのランク1更新を用いる。
• 現在のデータとアルゴリズム状態のみを用いて、各反復で収束指標の改善を最大限に高める適応的ステップサイズルールを導入する。
• アンダーサンプルデータの場合、観測値 xt = At vt として表され、At はサンプリング行列（ガウス分布または行部分集合によるアイデンティティ行列）であり、アルゴリズムは部分的測定に基づいて更新を行う。
• 理論的分析は、濃縮不等式および非一様性パラメータを用いて、残差誤差および部分空間角度誤差の境界を導出する。
• 補題および証明では、McDiarmidの不等式や行列摂動境界といった道具を用い、高確率での収束行動を確立する。

実験結果

リサーチクエスチョン

• RQ1 グラスマン多様体上でのインクリメンタル勾配降下は、完全サンプリング下で任意の確率的初期化から真の部分空間へグローバルに収束可能か？
• RQ2 提案された適応的ステップサイズルールは、完全サンプリング下で各反復において収束指標を最適に改善するか？
• RQ3 欠損データや圧縮センシングを含むアンダーサンプルデータ下でも、各反復における収束指標の期待値の単調増加を保証できるか？
• RQ4 非一様性パラメータ µ(U) および µ(v⊥) と、サンプリング行列の構造（ガウス分布 vs. 行部分集合）が収束速度および誤差境界に与える影響は何か？
• RQ5 不完全または圧縮観測が存在するストリーミング・オンライン部分空間推定に対して、どのような理論的保証を確立できるか？

主な発見

• 完全サンプリング下では、アルゴリズムは任意の確率的初期化から真の部分空間へグローバルに収束し、適応的ステップサイズにより各ステップで収束指標の改善が最大限に達成される。
• アンダーサンプルデータ下では、アルゴリズムは高確率で反復回ごとに収束指標における期待値の単調増加を保証する。
• 理論的保証は、i.i.d. ガウス分布サンプリング行列とアイデンティティ行列の行部分集合によるサンプリングの2つの状況で成立する。
• 収束解析は、非一様性パラメータ µ(U) および µ(v⊥) に依存し、McDiarmidの不等式および行列濃縮を用いて高確率境界が導出される。
• 適応的ステップサイズルールはデータ駆動型であり、真の部分空間やノイズレベルの事前知識を必要としない。
• 本研究は、直交制約と不完全観測を伴うストリーミング非凸部分空間推定において、グローバル収束を保証する点で先行研究を改善する。