[論文レビュー] On Tensor Completion via Nuclear Norm Minimization

Ming Yuan, Cun‐Hui Zhang|arXiv (Cornell University)|May 7, 2014

Sparse and Compressive Sensing Techniques参考文献 14被引用数 8

ひとこと要約

本稿では、行列へのマトリシゼーションを回避する直接的なテンソルノルム最小化手法を提案し、テンソルの固有構造とテンソル martingale の集中不等式を活用することで、特に高次テンソルにおいて、マトリシゼーションに基づく手法よりも少ないサンプル数で正確な回復を達成できることを示している。

ABSTRACT

Many problems can be formulated as recovering a low-rank tensor. Although an increasingly common task, tensor recovery remains a challenging problem because of the delicacy associated with the decomposition of higher order tensors. To overcome these difficulties, existing approaches often proceed by unfolding tensors into matrices and then apply techniques for matrix completion. We show here that such matricization fails to exploit the tensor structure and may lead to suboptimal procedure. More specifically, we investigate a convex optimization approach to tensor completion by directly minimizing a tensor nuclear norm and prove that this leads to an improved sample size requirement. To establish our results, we develop a series of algebraic and probabilistic techniques such as characterization of subdifferetial for tensor nuclear norm and concentration inequalities for tensor martingales, which may be of independent interests and could be useful in other tensor related problems.

研究の動機と目的

• マトリシゼーションに基づくテンソル補完手法が内在するテンソル構造を十分に活用できないという限界を解決すること。
• テンソル上での直接的核ノルム最小化を用いた凸最適化フレームワークを構築すること。
• 最小限のサンプリング条件下での正確なテンソル回復の理論的保証を確立すること。
• テンソル核ノルムの部分微分の特徴付けやテンソル martingale の集中不等式といった、新しい代数的・確率的ツールを導出すること。
• 特に奇数次テンソルにおいて、マトリシゼーションに基づく手法に比べて直接的テンソル手法がサンプルサイズの面で優れていることを示すこと。

提案手法

• N方向テンソル上での核ノルムを、すべてのモード1, モード2, モード3のアンフォールディングからの特異値の和として定義し、直接的に最小化する。
• 単位ノルム制約下でのランク1テンソルとの最大内積を用いてテンソル核ノルムを定義する：||X|| = max_{||u_j||=1} ⟨X, u₁⊗u₂⊗u₃⟩。
• 凸最適化プログラムを用いる：||X||_∗ を最小化するが、すべての ω ∈ Ω に対して X(ω) = T(ω) を満たす。ここで ||·||_∗ はテンソル核ノルムである。
• 回復プロセスにおける最適性条件を分析するために、テンソル核ノルムの部分微分の特徴付けを用いる。
• サンプリング作用素の期待値からの逸脱を抑えられるように、テンソル martingale の集中不等式を適用する。
• チェイングとエントロピー法を用いて、テンソル固有の幾何的・確率的構造を組み込んだサンプルサイズの境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 直接的テンソル核ノルム最小化は、マトリシゼーションに基づく手法に比べて、テンソル補完においてより良いサンプルサイズ要件を達成できるか？
• RQ2 直接的核ノルム最小化による正確なテンソル回復の理論的サンプル複雑度は何か？
• RQ3 Tuckerランクや多次元特異値といったテンソル固有の構造は、回復性能にどのように影響するか？
• RQ4 テンソル martingale のための新しい集中不等式は、テンソルサンプリングと回復の分析をどのように改善できるか？
• RQ5 高次テンソルを3次テンソルにアンフォールディングすることで、行列にアンフォールディングするのと比べて、より良いサンプルサイズスケーリングが得られるか？

主な発見

• 直接的テンソル核ノルム最小化は、特に高次テンソルにおいて、マトリシゼーション手法に比べてサンプルサイズ要件が改善されることを示した。
• N次テンソルを3次テンソルにアンフォールディングする場合、正確な回復に必要なサンプルサイズは O(d^{N/2} polylog(d)) である。これは、N が奇数のとき、マトリシゼーションによる O(d^{⌈N/2⌉} polylog(d)) よりも優れている。
• |Ω| ≥ C(d₁d₂d₃)^{1/2} r^{1/2} log²(d₁+d₂+d₃) の条件下で、高確率で正確な回復が達成され、マトリシゼーションに基づく手法を上回る性能を示した。ここで r は Tucker ランクである。
• テンソル martingale のための新しい集中不等式が確立され、これはテンソル回復におけるサンプリング誤差のバインドに不可欠である。
• テンソル核ノルムの部分微分の特徴付けが導出され、最適化の多様体の厳密な解析が可能になった。
• 理論的結果から、マトリシゼーションを避けることでテンソル構造が保たれ、特に奇数次テンソルにおいて必要なサンプル数が削減されることを示した。