[論文レビュー] On the Regret Minimization of Nonconvex Online Gradient Ascent for Online PCA

Dan Garber|arXiv (Cornell University)|Sep 27, 2018

Sparse and Compressive Sensing Techniques参考文献 38被引用数 4

ひとこと要約

本稿では、非凸オンライン勾配上昇（Nonconvex-OGA）が、スペクトルギャップを持つ確率的分布に従うが敵対的摂動を受ける新しい半敵対的データモデル下で、ウォームスタートベクトルを初期化することで、敵対的オンラインPCA設定において非線形のレジームを達成できることを確立している。この手法は、凸緩和に基づくアルゴリズムと同等のレジーム性能を達成するが、各イテレーションあたり線形メモリと実行時間で済む。

ABSTRACT

In this paper we focus on the problem of Online Principal Component Analysis in the regret minimization framework. For this problem, all existing regret minimization algorithms for the fully-adversarial setting are based on a positive semidefinite convex relaxation, and hence require quadratic memory and SVD computation (either thin of full) on each iteration, which amounts to at least quadratic runtime per iteration. This is in stark contrast to a corresponding stochastic i.i.d. variant of the problem, which was studied extensively lately, and admits very efficient gradient ascent algorithms that work directly on the natural non-convex formulation of the problem, and hence require only linear memory and linear runtime per iteration. This raises the question: can non-convex online gradient ascent algorithms be shown to minimize regret in online adversarial settings? In this paper we take a step forward towards answering this question. We introduce an extit{adversarially-perturbed spiked-covariance model} in which, each data point is assumed to follow a fixed stochastic distribution with a non-zero spectral gap in the covariance matrix, but is then perturbed with some adversarial vector. This model is a natural extension of a well studied standard stochastic setting that allows for non-stationary (adversarial) patterns to arise in the data and hence, might serve as a significantly better approximation for real-world data-streams. We show that in an interesting regime of parameters, when the non-convex online gradient ascent algorithm is initialized with a "warm-start" vector, it provably minimizes the regret with high probability. We further discuss the possibility of computing such a "warm-start" vector, and also the use of regularization to obtain fast regret rates. Our theoretical findings are supported by empirical experiments on both synthetic and real-world data.

研究の動機と目的

• 非凸オンライン勾配上昇が、特にオンラインPCAにおいて、敵対的オンライン学習設定でレジームを最小化できるかどうかを調査すること。
• 完全に敵対的なオンラインPCAにおいて、効率的な非凸i.i.d.アルゴリズムと計算コストの高い凸緩和に基づく手法の間のギャップを埋めること。
• 確率的構造と敵対的摂動を組み合わせた、現実のデータストリームをよりよく反映する半敵対的データモデルを提案すること。
• Nonconvex-OGAにウォームスタートを用いることで、このモデル下で非線形のレジームを理論的および実験的に検証すること。
• 有効なウォームスタートベクトルの計算可能性と、正則化がレジームレートの向上に果たす役割を検討すること。

提案手法

• 敵対的摂動を受けるスパイク付き共分散モデルを導入：データポイントは、共分散行列に非ゼロのスペクトルギャップを持つ固定分布に従い、その後で敵対的ベクトルによって摂動される。
• Nonconvex-OGAを提案：オンラインPCAの非凸定式化を直接最適化する勾配上昇アルゴリズムで、データ上で勾配ステップを用いて単位ベクトル予測子を更新する。
• 元の分布の小さなi.i.d.サンプルから得られるウォームスタート初期化ベクトルを用い、真の最大固有ベクトルに近い位置を保証する。
• 更新行列のスペクトラヒドロンへの射影がランク1のまま保たれるという仮定の下でレジームを分析する。この仮定は、モデル下で高確率で成立する。
• 正則化を用いてレジームレートを向上させ、ウォームスタート条件の下でグローバル最適解への収束に関する理論的保証を提供する。
• 合成データ、MNIST、CIFAR10データセットを用いた実験的評価を実施。Nonconvex-OGA、BR1-OGA、およびConv-OGA（スリムSVDで近似）を比較し、時間経過に伴う平均レジームを測定する。

実験結果

リサーチクエスチョン

• RQ1 完全に敵対的なオンラインPCA設定において、非凸オンライン勾配上昇は非線形のレジームを達成できるか？
• RQ2 Nonconvex-OGAにウォームスタートを用いる場合、どのようなデータ仮定のもとでレジーム最小化が達成されるか？
• RQ3 レジームと計算効率の観点から、Nonconvex-OGAは凸緩和に基づくOGAと比べてどのように性能を発揮するか？
• RQ4 ウォームスタートベクトルは、非凸オンラインPCAにおけるグローバル収束とレジーム最小化を可能にする役割を果たすか？
• RQ5 正則化は、この設定下で非凸オンライン勾配上昇のレジームレートを向上させることができるか？

主な発見

• 提案された半敵対的データモデル下で、ウォームスタートベクトルを初期化したNonconvex-OGAは、高確率で非線形のレジームを達成する。
• 実験的結果から、Nonconvex-OGAとBR1-OGAは、スリムSVDで近似した凸OGAと同等のレジームを達成しており、ベースラインのウォームスタートベクトルを著しく上回っている。
• 射影エラーの割合（更新行列の射影がランク1に満たない場合）は、合成データで6.24%、MNISTで0.26%、CIFAR10で0%であり、ランク1の射影という理論的仮定が支持されている。
• わずか1%（合成データ）、1%（MNIST）、0.2%（CIFAR10）のデータから計算されたウォームスタートベクトルが、効果的なレジーム最小化を可能にし、収束に十分であることが示された。
• 正則化がレジームレートの向上に寄与することが実証され、より広いパrameter領域においてより強い理論的保証に至る道筋が示唆された。
• 結果は、非凸オンライン勾配上昇が、敵対的オンラインPCAにおいて、線形メモリと実行時間という効率性と、低いレジームという有効性の両方を兼ね備えられることを示しており、凸緩和の必要性を疑問視するものである。