[論文レビュー] Global Convergence of a Grassmannian Gradient Descent Algorithm for Subspace Estimation

Dejiao Zhang, Laura Balzano|arXiv (Cornell University)|Jun 24, 2015

Sparse and Compressive Sensing Techniques参考文献 24被引用数 31

ひとこと要約

本稿では、ノイズのない条件下で真の部分空間へのグローバル収束を保証する、ストリーミングデータにおける部分空間推定のためのグラスマン多様体勾配降下法を提案する。ノイズありの場合には収束速度が得られ、アルゴリズムはランク1更新を用いてグラスマン多様体上で動作し、グリーディなステップサイズスキームにより収束指標を最適化する。

ABSTRACT

It has been observed in a variety of contexts that gradient descent methods have great success in solving low-rank matrix factorization problems, despite the relevant problem formulation being non-convex. We tackle a particular instance of this scenario, where we seek the $d$-dimensional subspace spanned by a streaming data matrix. We apply the natural first order incremental gradient descent method, constraining the gradient method to the Grassmannian. In this paper, we propose an adaptive step size scheme that is greedy for the noiseless case, that maximizes the improvement of our metric of convergence at each data index $t$, and yields an expected improvement for the noisy case. We show that, with noise-free data, this method converges from any random initialization to the global minimum of the problem. For noisy data, we provide the expected convergence rate of the proposed algorithm per iteration.

研究の動機と目的

• 部分空間推定のためのグラスマン多様体上でのインクリメンタル勾配降下法のグローバル収束保証を確立すること。
• ノイズのない状況において収束改善を最大化する適応的ステップサイズスキームを開発すること。
• ノイズありの状況への収束解析を拡張し、期待される改善保証を提供すること。
• ストリーミングデータ応用に適したロバストでスケーラブルな部分空間推定を可能にすること。
• 正則化または非標準的な低ランク行列分解問題への勾配ベース手法の拡張の理論的基盤を提供すること。

提案手法

• アルゴリズムは、各ストリーミングデータベクトルの後でランク1更新を用いて部分空間推定を更新する、グラスマン多様体上でのインクリメンタル勾配降下法を用いる。
• ステップサイズは、残差とデータベクトルの射影との間の角度に基づいて導出され、部分空間類似度指標の改善を最大化する。
• ステップサイズは $\theta_t = \arctan\left((1 - \alpha_t) \frac{\|r_t\|}{\|p_t\|}\right)$ と定義され、ここで $\alpha_t$ はノイズの上限とデータ統計に依存する。
• 更新則は、射影方向と残差方向の組み合わせを用いて、現在の部分空間を観測されたデータベクトルの方向に傾ける。
• ノイズありの場合、ステップサイズはノイズのないスキームの重み付き版に調整され、データおよびノイズ分散に依存する。
• 収束は主角度と2つの指標（行列式類似度 $\zeta_t$ とフロベニウスノルム差異 $\epsilon_t$）を用いて分析される。

実験結果

リサーチクエスチョン

• RQ1 インクリメンタル勾配降下法は、ランダム初期化からグラスマン多様体上で部分空間推定に対してグローバル収束を達成できるか？
• RQ2 ノイズのないストリーミング設定において、収束改善を最大化する適応的ステップサイズ戦略は何か？
• RQ3 ノイズの存在下でアルゴリズムはどのように動作し、期待される収束を保証できるか？
• RQ4 提案手法はノイズあり条件下でも部分空間推定指標における単調な改善を維持するか？
• RQ5 このアプローチは正則化または非標準的な低ランク因子分解問題に拡張可能か？

主な発見

• 提案アルゴリズムは、ノイズのない状況において、任意のランダム初期化から真の部分空間へほとんど確実にグローバル収束する。
• ノイズのない状況では、初期段階で収束が遅く、グローバル最小値付近で線形収束を示す。これは先行研究の局所的収束速度と一致する。
• ノイズありデータでは、提案されたステップサイズ体制のもとで期待される収束速度が保証され、部分空間類似度指標における期待される改善が単調に保たれる。
• 適応的ステップサイズスキームは、ノイズのない設定において各反復で収束指標の改善を最大限に高める。
• 本手法は、部分空間推定におけるインクリメンタル勾配降下法のグローバル収束を初めて示した。
• 理論的分析は、GROUSE や類似アルゴリズムの実験的成功を、非凸設定でも裏付けるものである。