[論文レビュー] Square Deal: Lower Bounds and Improved Relaxations for Tensor Recovery

Cun Mu, Bo Huang+2 more|arXiv (Cornell University)|Jul 22, 2013

Sparse and Compressive Sensing Techniques参考文献 37被引用数 225

ひとこと要約

本稿では、低ランクテンソル回復のための新しい凸緩和法、すなわちノルムの二乗モデルを提案する。この手法は、標準的な核ノルムの和（SNN）アプローチと比較して、顕著に低いサンプル必要数を実現する。テンソルを低ランク構造を保ちながらよりバランスの取れた行列に再形状することで、サンプル必要数は $O(r^{\lfloor K/2\rfloor}n^{\lceil K/2\rceil})$ にまで低下し、SNNの $ Omega(rn^{K-1})$ よりも著しく優れており、非凸の最適基準に近づく。

ABSTRACT

Recovering a low-rank tensor from incomplete information is a recurring problem in signal processing and machine learning. The most popular convex relaxation of this problem minimizes the sum of the nuclear norms of the unfoldings of the tensor. We show that this approach can be substantially suboptimal: reliably recovering a $K$-way tensor of length $n$ and Tucker rank $r$ from Gaussian measurements requires $Ω(r n^{K-1})$ observations. In contrast, a certain (intractable) nonconvex formulation needs only $O(r^K + nrK)$ observations. We introduce a very simple, new convex relaxation, which partially bridges this gap. Our new formulation succeeds with $O(r^{\lfloor K/2 floor}n^{\lceil K/2 ceil})$ observations. While these results pertain to Gaussian measurements, simulations strongly suggest that the new norm also outperforms the sum of nuclear norms for tensor completion from a random subset of entries. Our lower bound for the sum-of-nuclear-norms model follows from a new result on recovering signals with multiple sparse structures (e.g. sparse, low rank), which perhaps surprisingly demonstrates the significant suboptimality of the commonly used recovery approach via minimizing the sum of individual sparsity inducing norms (e.g. $l_1$, nuclear norm). Our new formulation for low-rank tensor recovery however opens the possibility in reducing the sample complexity by exploiting several structures jointly.

研究の動機と目的

• 低ランクテンソル回復に広く用いられている核ノルムの和（SNN）凸緩和法の根本的限界を特定すること。
• SNNモデルを用いた信頼性の高い回復に必要なガウス測定値の数の理論的下界を確立すること。
• 複数のテンソルの共同低ランク構造をより効果的に活用する新しい凸緩和法を提案すること。
• ランダムなエントリのサブセットからのテンソル補完において、新手法がSNNを実際に上回ることを実証的に示すこと。
• 複数の構造が信号に共存する状況で、個々の構造誘導ノルム（例：核ノルム）を組み合わせることがなぜ非効率であるかを強調すること。

提案手法

• テンソルを低ランク構造を保ちながらよりバランスの取れた行列形式に再形状することで、新しい凸緩和法である平方ノルムモデルを提案する。
• この手法は、テンソルの展開により得られるバランスの取れた行列の核ノルムとして定義される新しいテンソルノルムを最小化する。
• 理論的解析により、Tuckerランクが $r$ で有界なテンソルの高確率回復に $O(r^{\lfloor K/2\rfloor}n^{\lceil K/2\rceil})$ 個のガウス測定値が十分であることが示された。
• 複数構造信号回復の一般枠組みを用いて、SNNモデルに $\Omega(rn^{K-1})$ 個の測定値が必要である下界を導出。
• 一階最適化法を用いて新しい凸計画問題を解き、行列補完にオーバーラップラグランジュ法を効率的に適用。
• ランダムエントリサンプリングを用いたテンソル補完における性能を、シミュレーションにより検証。新ノルムとSNNを比較。

実験結果

リサーチクエスチョン

• RQ1 低ランクテンソル回復のための核ノルムの和（SNN）モデルの根本的サンプル必要数の限界は何か？
• RQ2 複数のテンソルの共同低ランク構造をより効果的に活用する新しい凸緩和法を設計できるか？
• RQ3 ランダムエントリサンプリングを用いた実用的テンソル補完タスクにおいて、新規の平方ノルムモデルはSNNと比較してどの程度の性能を示すか？
• RQ4 複数の構造が共存する信号において、個々の構造誘導ノルム（例：核ノルム）の最小化がなぜ非効率的か？
• RQ5 非凸形式に近い性能を達成できる、実用的な凸緩和法を低ランクテンソル回復のために設計することは可能か？

主な発見

• 核ノルムの和（SNN）モデルは、信頼性の高い回復に $\Omega(rn^{K-1})$ 個のガウス測定値を必要とし、これは著しく非効率である。
• 提案された平方ノルムモデルは、$O(r^{\lfloor K/2\rfloor}n^{\lceil K/2\rceil})$ のサンプル必要数を達成し、SNNよりも顕著な改善を示す。
• $K \geq 4$ かつ $r$ が小さい場合、新手法のサンプル必要数は非凸の最適基準にSNNよりもはるかに近づく。
• シミュレーションにより、ランダムなエントリサブセットからのテンソル補完において、平方ノルムモデルがSNNを上回ることが示され、成功領域が広がっている。
• 理論的解析により、信号に複数のスパース構造が共存する場合、個々の構造誘導ノルム（例：$\ell_1$、核ノルム）を組み合わせることは根本的に非効率であることが明らかになった。
• 新手法は、共同構造のより良い活用がサンプル必要数を顕著に削減できることを示し、最小に近い測定数による回復への道筋を開く。