[論文レビュー] Provable Near-Optimal Low-Multilinear-Rank Tensor Recovery

Jian‐Feng Cai, Lizhang Miao+2 more|arXiv (Cornell University)|Jul 17, 2020

Sparse and Compressive Sensing Techniques参考文献 43被引用数 5

ひとこと要約

本稿では、線形測定値から低多次元ランクテンソルを証明可能な近最適な回復を達成するため、1ステップの反復的ハードスレッディングによる初期化を施したリーマン的勾配法を提案する。この手法は、テンソル制限等長性（TRIP）を活用し、大きなテンソル全体ではなく小さな中間的テンソルにおける効率的な高次SVDを用いることで、サイズ $n \times \cdots \times n$ で多次元ランク $(r,\ldots,r)$ の順序-$d$ テンソルに対して、高確率で $O(nr^2 + r^{d+1})$ の最適なサンプリング複雑度を達成する。

ABSTRACT

We consider the problem of recovering a low-multilinear-rank tensor from a small amount of linear measurements. We show that the Riemannian gradient algorithm initialized by one step of iterative hard thresholding can reconstruct an order-$d$ tensor of size $n imes\ldots imes n$ and multilinear rank $(r,\ldots,r)$ with high probability from only $O(nr^2 + r^{d+1})$ measurements, assuming $d$ is a constant. This sampling complexity is optimal in $n$, compared to existing results whose sampling complexities are all unnecessarily large in $n$. The analysis relies on the tensor restricted isometry property (TRIP) and the geometry of the manifold of all tensors with a fixed multilinear rank. High computational efficiency of our algorithm is also achieved by doing higher order singular value decomposition on intermediate small tensors of size only $2r imes \ldots imes 2r$ rather than on tensors of size $n imes \ldots imes n$ as usual.

研究の動機と目的

• 最小限の線形測定値から低多次元ランクテンソルを回復する課題に対処すること。
• 従来の手法におけるサンプリング複雑度のギャップを解消し、$n$ に関して余分に大きなものを回避すること。
• 大きなテンソルにおけるフルSVDを避けるために、小さな中間的テンソル上で動作する計算効率の高いアルゴリズムの開発。
• テンソル制限等長性（TRIP）と多様体幾何学を用いた理論的回復保証の確立。
• ノイズに強い性能と、ランダムフーリエ作用素などの構造的サンプリングモデルへの適用可能性の実証。

提案手法

• 固定多次元ランクテンソルの多様体上でのリーマン的勾配降下法を用いる。
• 良い初期点を提供するため、反復的ハードスレッディングの1ステップによる初期化を実施する。
• フルサイズの $n \times \cdots \times n$ テンソルではなく、小さな $2r \times \cdots \times 2r$ の中間的テンソルにのみ高次特異値分解（HOSVD）を適用する。
• 理論的分析はテンソル制限等長性（TRIP）に基づき、緩い条件下でも安定な回復を保証する。
• 低多次元ランクテンソルの多様体幾何学を活用して、最適化プロセスの収束性と安定性を確保する。
• ガウス分布およびランダムフーリエサンプリングモデルの両方でフレームワークを検証し、一貫した実験的性能を示した。

実験結果

リサーチクエスチョン

• RQ1 低多次元ランクテンソルの回復は、$n$ に関して最適なサンプリング複雑度を達成できるか、情報理論的下界と一致するか？
• RQ2 反復的ハードスレッディングによる初期化を施したリーマン最適化法は、近最適なサンプリング複雑度で証明可能な回復を達成できるか？
• RQ3 フルサイズのテンソルではなく、小さな $2r \times \cdots \times 2r$ テンソルに制限してHOSVDを適用することで、計算効率を著しく向上できるか？
• RQ4 ノイズのある測定値やランダムフーリエ作用素のような構造的サンプリングモデル下で、アルゴリズムの性能はいかがなっているか？
• RQ5 理論的回復保証は、多次元ランク以外の低ランクテンソルモデルへも拡張可能か？

主な発見

• 提案手法は、順序-$d$ テンソルに対して $O(nr^2 + r^{d+1})$ のサンプリング複雑度を達成し、$n$ に関して最適であり、情報理論的下界と一致する。
• サイズ $n \times n \times n$ で多次元ランク $(r,r,r)$ の順序3テンソルの場合、必要な測定数は $O(nr^2 + r^4)$ であり、$n$ に関して最適である。
• 実験的結果から、ガウス測定下では、100%の回復に必要な最小測定数 $m$ が $n$ に対して線形に増加することが示され、理論的境界と一致する。
• ランダムフーリエサンプリング下では、必要な $m$ が $O(n \log^2 n)$ のオーダーで増加し、理論的分析および同種作用素のTRIPに関する先行研究と整合的である。
• ノイズに強く、測定値がガウスノイズで摂動されても、相対誤差が $10^{-3}$ 未満に抑えられる成功した回復を達成する。
• フルサイズのテンソルにおける高価な演算を避けるために、$2r \times 2r \times 2r$ の小さな中間的テンソルでのみHOSVDを実行することで、高い計算効率を達成している。