[論文レビュー] Recovery of simultaneous low rank and two-way sparse coefficient matrices, a nonconvex approach

Ming Yu, Varun Gupta+1 more|arXiv (Cornell University)|Feb 20, 2018

Sparse and Compressive Sensing Techniques参考文献 131被引用数 11

ひとこと要約

本稿では、同時に低ランクかつ行／列スパースな行列を回復するための非凸最適化アルゴリズム、勾配降下法によるハードスパース化（GDT）を提案する。この手法は、統計的誤差の範囲内で線形収束を達成し、理論的保証と実験的結果により、マルチタスク学習およびスパース低ランク回帰において、既存手法と比較して競争力のある性能とより高速な速度を示している。

ABSTRACT

We study the problem of recovery of matrices that are simultaneously low rank and row and/or column sparse. Such matrices appear in recent applications in cognitive neuroscience, imaging, computer vision, macroeconomics, and genetics. We propose a GDT (Gradient Descent with hard Thresholding) algorithm to efficiently recover matrices with such structure, by minimizing a bi-convex function over a nonconvex set of constraints. We show linear convergence of the iterates obtained by GDT to a region within statistical error of an optimal solution. As an application of our method, we consider multi-task learning problems and show that the statistical error rate obtained by GDT is near optimal compared to minimax rate. Experiments demonstrate competitive performance and much faster running speed compared to existing methods, on both simulations and real data sets.

研究の動機と目的

• 認知神経科学、画像処理、マルチタスク学習において一般的な、同時に低ランクかつ行／列スパースな行列を効率的に回復するアルゴリズムの開発。
• 凸緩和の限界を克服するため、バイコン vex 形式を用いて非凸最適化問題を直接解くこと。
• 制限された強い凸性および滑らかさ条件の下で、最適解の統計的誤差範囲内で線形収束を示すアルゴリズムの理論的保証。
• 低ランクおよび二重スパース構造を介した連合変数選択と次元削減を可能にすることで、マルチタスク学習における理論的および実験的性能の向上。
• 最小最大レートと比較して近似最適な統計的誤差率を達成することを示す。また、既存手法と比較して計算が高速である。

提案手法

• 低ランク行列を $\Theta = UV^\top$（$U \in \mathbb{R}^{m_1 \times r}$, $V \in \mathbb{R}^{m_2 \times r}$）として再パrameter化し、低次元要因の最適化に問題を縮小する。
• 各反復でハードスパース化を施した投影勾配降下法を用い、$U$ と $V$ それぞれに行スパース性と列スパース性を強制する。
• ランク、行スパース性、列スパース性を定めた非凸制約集合 $\Xi(r, s_1, s_2)$ を用いて、目的の行列構造を直接モデル化する。
• 制限された強い凸性（RSC）および制限された強い滑らかさ（RSS）条件を用いて、反復列が最適解の $c \cdot \epsilon$ 範囲内に線形収束することを証明する。ここで $\epsilon$ は統計的誤差を表す。
• 損失関数の制限された強い凸性（RSC）および制限された強い滑らかさ（RSS）条件を用いて、収束性と安定性を保証する。
• エpsilonネットの議論とサブガウス型尾部バウンドを用いて、高次元設定における統計的誤差項 $e_{\text{stat}}$ を制御する。

実験結果

リサーチクエスチョン

• RQ1 非凸最適化アプローチは、同時に低ランクかつ二重スパース構造を持つ行列の回復において、凸緩和を上回ることができるか？
• RQ2 GDTアルゴリズムは、真のパrameterの統計的誤差範囲内で線形収束を達成するか？
• RQ3 高次元入力と少数のサンプルを伴うマルチタスク学習設定において、GDTの統計的誤差は最小最大レートと比較してどの程度か？
• RQ4 低ランクおよびスパース制約を同時に満たす中で、アルゴリズムは高速な収束性と競争力のある性能を維持できるか？
• RQ5 構造的スパース性および低ランク制約を有する非凸集合上で、ハードスパース化を施した勾配降下法に対して、どのような理論的保証を確立できるか？

主な発見

• RSCおよびRSS条件の下で、GDTアルゴリズムは最適解の $c \cdot \epsilon$ 範囲内で反復列が線形収束することを示した。ここで $\epsilon$ は統計的誤差を表す。
• GDTの統計的誤差率は近似最適であり、高次元設定において最小最大レートと対数要因を除いて一致する。
• シミュレートデータおよび実データを用いた実験により、GDTは既存手法と比較して顕著に高速な実行速度を達成しながら、競争力ある推定精度を示した。
• マルチタスク学習において、GDTは低ランクかつ二重スパースな係数行列を効果的に回復でき、連合変数選択と潜在的要因の同定を可能にした。
• 理論的解析により、高確率で統計的誤差 $e_{\text{stat}}$ が $O\left(\sigma \sqrt{\frac{\bar{\kappa}(s_1)}{n}} \left(s_1 \log p + s_2 \log k + r(s_1 + s_2) \log 6 + \log \frac{1}{\delta}\right)\right)$ で有界であることが示された。
• アルゴリズムは各反復で独立なサンプルを必要とせず、非ガウス型誤差に対しても適用可能であり、マルチタスク学習分野における先行研究を改善した。