[論文レビュー] Scaling and Scalability: Provable Nonconvex Low-Rank Tensor Estimation from Incomplete Measurements

Tian Tong, Cong Ma+3 more|arXiv (Cornell University)|Apr 29, 2021

Tensor decomposition and applications参考文献 86被引用数 16

ひとこと要約

本稿では、Tucker分解を用いた不完全な測定値から低ランクテンソル推定を行うための、証明可能に収束する非凸最適化アルゴリズムであるScaledGDを提案する。この手法は、条件数に依存しない線形収束を達成し、サンプル複雑度が $n^{3/2}$ のオーダーであるため、従来の手法と比較して非常にスケーラブルで、悪条件性に対して頑健である。

ABSTRACT

Tensors, which provide a powerful and flexible model for representing multi-attribute data and multi-way interactions, play an indispensable role in modern data science across various fields in science and engineering. A fundamental task is to faithfully recover the tensor from highly incomplete measurements in a statistically and computationally efficient manner. Harnessing the low-rank structure of tensors in the Tucker decomposition, this paper develops a scaled gradient descent (ScaledGD) algorithm to directly recover the tensor factors with tailored spectral initializations, and shows that it provably converges at a linear rate independent of the condition number of the ground truth tensor for two canonical problems -- tensor completion and tensor regression -- as soon as the sample size is above the order of $n^{3/2}$ ignoring other parameter dependencies, where $n$ is the dimension of the tensor. This leads to an extremely scalable approach to low-rank tensor estimation compared with prior art, which suffers from at least one of the following drawbacks: extreme sensitivity to ill-conditioning, high per-iteration costs in terms of memory and computation, or poor sample complexity guarantees. To the best of our knowledge, ScaledGD is the first algorithm that achieves near-optimal statistical and computational complexities simultaneously for low-rank tensor completion with the Tucker decomposition. Our algorithm highlights the power of appropriate preconditioning in accelerating nonconvex statistical estimation, where the iteration-varying preconditioners promote desirable invariance properties of the trajectory with respect to the underlying symmetry in low-rank tensor factorization.

研究の動機と目的

• 高頻度に不完全な測定値から低ランクテンソルを統計的・計算的に効率よく回復する課題に対処すること。
• 従来の手法の限界、例えば悪条件性への感受性、1反復あたりのコストの高さ、サンプル複雑度の保証の不足を克服すること。
• 低ランクテンソル補完および回帰において、近似的に最適な統計的・計算的複雑度を同時に達成するアルゴリズムを開発すること。
• Tucker分解に基づく非凸最適化において、明示的なスペクトル初期化を用いた線形収束の証明を確立すること。

提案手法

• 低ランクテンソル因子化の対称性に不変であるようにするため、反復ごとに変化するスケーリング行列（正規化行列）を用いたスケーリング勾配降下法（ScaledGD）を提案する。
• 真の因子に近い初期値を得られるように、特化したスペクトル初期化を採用し、局所収束を可能にする。
• 収束を条件数に依存させないために、進行度を測るためのスケーリングされた距離尺度を用いる。
• 確率的サンプリングの下で推定誤差を制御するために、集中不等式と摂動バウンドを適用する。
• 真のテンソル因子の近傍におけるヘッセ行列および勾配の振る舞いの解析を通じて収束保証を導出する。
• Tucker分解フレームワークの下で、テンソル補完およびテンソル回帰の両問題にこのアプローチを一般化する。

実験結果

リサーチクエスチョン

• RQ1 真のテンソルの条件数に依存しない非凸最適化手法が、低ランクテンソル推定において線形収束を達成できるか？
• RQ2 非凸最適化による低ランクテンソルの証明可能な回復に必要な最小サンプル複雑度は何か？
• RQ3 正規化（前処理）は、悪条件性下での非凸テンソル推定における収束性と頑健性をどのように向上させるか？
• RQ4 スペクトル初期化は、テンソル補完および回帰において、近似的に最適なサンプル複雑度を達成しつつ局所収束を保証できるか？
• RQ5 低ランクテンソル推定において、最適な統計的および計算的複雑度を同時に達成することは可能か？

主な発見

• ScaledGDは、真のテンソルの条件数に依存しない線形収束レートを達成し、悪条件性に対しても頑健であることが保証される。
• 本手法は、テンソル補完および回帰の両問題において、$O(n^{3/2})$（対数因子を除く）のサンプル数で証明可能な回復が可能であり、近似的に最適なサンプル複雑度を達成する。
• 収束はスペクトル初期化から保証されており、それが真の因子に高確率で近いことが示されている。
• 従来の手法に比べ、1反復あたりのコストを回避し、退化や悪条件性下でも安定性を維持する。
• 理論的解析により、反復ごとに変化する正規化行列が望ましい不変性を誘発し、収束を加速することが確認された。
• 実験結果により理論的予測が妥当であることが検証され、合成データおよび実世界のテンソル回復タスクにおいて、高速かつ安定した収束が観察された。