[論文レビュー] Non-Convex Projected Gradient Descent for Generalized Low-Rank Tensor Regression

Han Chen, Garvesh Raskutti+1 more|arXiv (Cornell University)|Nov 30, 2016

Sparse and Compressive Sensing Techniques被引用数 41

ひとこと要約

本稿では、一般化された低ランクテンソル回帰に対する非凸な射影勾配降下法（PGD）フレームワークを提案し、局所的ガウス幅を用いて理論的保証を確立する。低ランクテンソル構造下で、凸緩和法と比較して優れた統計的誤差率とより速い収束性を達成することが示され、3つのテンソルランクモデル（スライスランクの和、スパース・低ランクスライス、Tuckerランク）に対して、線形収束性と改善されたサンプル複雑度を保証する。

ABSTRACT

In this paper, we consider the problem of learning high-dimensional tensor regression problems with low-rank structure. One of the core challenges associated with learning high-dimensional models is computation since the underlying optimization problems are often non-convex. While convex relaxations could lead to polynomial-time algorithms they are often slow in practice. On the other hand, limited theoretical guarantees exist for non-convex methods. In this paper we provide a general framework that provides theoretical guarantees for learning high-dimensional tensor regression models under different low-rank structural assumptions using the projected gradient descent algorithm applied to a potentially non-convex constraint set $\\Theta$ in terms of its \\emph{localized Gaussian width}. We juxtapose our theoretical results for non-convex projected gradient descent algorithms with previous results on regularized convex approaches. The two main differences between the convex and non-convex approach are: (i) from a computational perspective whether the non-convex projection operator is computable and whether the projection has desirable contraction properties and (ii) from a statistical upper bound perspective, the non-convex approach has a superior rate for a number of examples. We provide three concrete examples of low-dimensional structure which address these issues and explain the pros and cons for the non-convex and convex approaches. We supplement our theoretical results with simulations which show that, under several common settings of generalized low rank tensor regression, the projected gradient descent approach is superior both in terms of statistical error and run-time provided the step-sizes of the projected descent algorithm are suitably chosen.

研究の動機と目的

• 高次元テンソル回帰における低ランク構造を考慮した非凸最適化フレームワークの開発。凸緩和法の計算的ボトル neck を克服することを目的とする。
• 一般の低ランクテンソル制約下での非凸PGDの収束性と統計的誤差バウンドの理論的確立。
• 非凸PGDと凸正則化法の間の統計的および計算的性能の比較。
• 非凸射影が収縮性を示す条件を形式化すること。
• 3つの具体的な低ランクテンソルモデルを通じて、誤差率の向上と実行時間効率の向上を実証すること。

提案手法

• 非凸制約集合 Θ（低ランクテンソル構造を表す）上で射影勾配降下法を適用し、射影が収縮性を満たすことを前提とする。
• 対称コーンの超加法的族と、制御された収縮性を持つ近似射影に基づく一般枠組みを導入する。
• 理論的リスクバウンドは、Θ ∩ B_F(1) の局所的ガウス幅に基づいて導出される。ここで B_F(1) はノルム1のフロベニウスノルム球を表す。
• このフレームワークは、スライスランクの和、スパース・低ランクスライス、Tuckerランクの3つのテンソルランクモデルに適用可能である。
• 再帰的行列化と特異値しきい値処理演算子を用いて、射影誤差をバウンドすることで収束性を証明する。
• 統計的誤差は n^{-1/2} w_G[Θ ∩ B_F(1)] のオーダーに比例し、核ノルム正則化子を用いて明示的な上界が導出される。

実験結果

リサーチクエスチョン

• RQ1 非凸射影勾配降下法は、低ランクテンソル回帰において凸正則化法よりも優れた統計的誤差率を達成できるか？
• RQ2 非凸PGDアルゴリズムが、保証された誤差バウンドのもとで線形収束する条件は何か？
• RQ3 高次元テンソル設定下で、非凸PGDの計算効率は凸緩和法と比べてどの程度優れているか？
• RQ4 局所的ガウス幅は、テンソルモデルにおける非凸PGDの統計的誤差を特徴付ける役割を果たすか？
• RQ5 Tuckerランクやスライスランクなどの異なる低ランクテンソル構造は、PGDの収束性と誤差率にどのように影響を与えるか？

主な発見

• 非凸PGD手法は、n^{-1/2} w_G[Θ ∩ B_F(1)] のオーダーの統計的誤差率を達成する。これは、テンソル回帰における非凸PGDに対して、初めての一般的な上界である。
• スライスランクの和モデルでは、誤差率が O(n^{-1/2} √{(s′+s)(r′+r)} √{6(d₁+d₂+log d₃)}) でバウンドされる。
• スパース・低ランクスライスモデルでは、誤差率が O(n^{-1/2} √{(r′+r)(s′+s)} √{6(d₁+d₂+log d₃)}) でバウンドされる。
• Tuckerランクモデルでは、誤差率が O(n^{-1/2} √{r′+r} √{6 min{d₁+d₂d₃, d₂+d₁d₃, d₃+d₁d₂}}) でバウンドされる。
• 非凸PGDアプローチは、RaskuttiとYuan（2015）の定理1と比較することで、定数要因の範囲内で凸正則化スキームよりも優れた誤差率を達成する。
• シミュレーションにより、ステップサイズを適切に調整した場合、非凸PGDは統計的誤差と実行時間の両面で凸法を上回ることが確認された。