[論文レビュー] Provable Tensor-Train Format Tensor Completion by Riemannian Optimization

Jian-Feng Cai, Jingyang Li+1 more|arXiv (Cornell University)|Aug 27, 2021

Tensor decomposition and applications参考文献 75被引用数 15

ひとこと要約

本稿は、テンソルトレース（TT）形式におけるテンソル補完のためのリーマン的勾配降下法（RGrad）に対する理論的収束保証を初めて提示し、テンソルの条件数に依存しない定数収縮率を伴う線形収束を証明した。また、ウォーム初期化のための逐次的2階モーメント法を導入し、サブガウスノイズ下での統計的にほぼ最適な回復レートを確立した。数値実験により、計算上の利点が検証された。

ABSTRACT

The tensor train (TT) format enjoys appealing advantages in handling structural high-order tensors. The recent decade has witnessed the wide applications of TT-format tensors from diverse disciplines, among which tensor completion has drawn considerable attention. Numerous fast algorithms, including the Riemannian gradient descent (RGrad), have been proposed for the TT-format tensor completion. However, the theoretical guarantees of these algorithms are largely missing or sub-optimal, partly due to the complicated and recursive algebraic operations in TT-format decomposition. Moreover, existing results established for the tensors of other formats, for example, Tucker and CP, are inapplicable because the algorithms treating TT-format tensors are substantially different and more involved. In this paper, we provide, to our best knowledge, the first theoretical guarantees of the convergence of RGrad algorithm for TT-format tensor completion, under a nearly optimal sample size condition. The RGrad algorithm converges linearly with a constant contraction rate that is free of tensor condition number without the necessity of re-conditioning. We also propose a novel approach, referred to as the sequential second-order moment method, to attain a warm initialization under a similar sample size requirement. As a byproduct, our result even significantly refines the prior investigation of RGrad algorithm for matrix completion. Lastly, statistically (near) optimal rate is derived for RGrad algorithm if the observed entries consist of random sub-Gaussian noise. Numerical experiments confirm our theoretical discovery and showcase the computational speedup gained by the TT-format decomposition.

研究の動機と目的

• TT形式テンソル補完におけるリーマン最適化の収束解析における理論的ギャップを埋めること。
• ほぼ最適なサンプルサイズ条件下でRGradアルゴリズムの線形収束を証明すること。
• 同様のサンプルサイズ要件を満たす新たなウォーム初期化法として、逐次的2階モーメント法を考案すること。
• ランダムなサブガウスノイズ下でRGradの統計的にほぼ最適な回復レートを導出すること。
• 数値実験を通じて、計算効率とロバストネスを示すこと。

提案手法

• 低ランクテンソル補完を最適化するため、TT多様体上でのリーマン的勾配降下法（RGrad）を提案する。
• 同じサンプルサイズ条件下で高い確率でウォーム初期化を達成できる、逐次的2階モーメント法を導入する。
• 行列ベルンシュタイン不等式と集中不等式を用いて、経験的推定値と期待値の乖離を制御する。
• スペクトル初期化と行列集中推定技術を用いて、TT形式における推定誤差のノルムをバインドする。
• 収縮率解析を用いて収束を分析し、テンソルの条件数に依存しないことを示す。
• サブガウスノイズ仮定に基づき、RGrad反復の誤差に対する高確率バインドを導出する。

実験結果

リサーチクエスチョン

• RQ1 TT形式テンソル補完におけるRGradは、定数収縮率を伴う線形収束を理論的に保証できるか？
• RQ2 TT形式テンソル補完の収束と初期化品質を保証するのに十分なサンプルサイズは何か？
• RQ3 ランダムなサブガウスノイズ下で、RGradアルゴリズムは統計的にほぼ最適な回復レートを達成するか？
• RQ4 再条件化なしに、収束率をテンソルの条件数に依存させずにできるか？
• RQ5 提案されたウォーム初期化法は、従来のスペクトル初期化と比較して、サンプル複雑度とロバストネスの面でどのように異なるか？

主な発見

• RGradは、テンソルの条件数に依存しない定数収縮率を伴う線形収束を示し、再条件化の必要がなくなる。
• 情報理論的限界から対数因子を除いてほぼ最適なサンプルサイズ条件下で収束を達成する。
• 提案された逐次的2階モーメント法は、同じサンプルサイズ要件下で高い確率でウォーム初期化を保証する。
• 観測エントリがランダムなサブガウスノイズで汚染されている場合、統計的にほぼ最適な回復レートを達成する。
• 数値実験により理論的予測が妥当であることが確認され、TT形式の構造のおかげで顕著な計算高速化が実現された。
• 先行研究の行列補完に関する結果を洗練させ、より強い保証を伴うテンソル領域への拡張を達成した。