[論文レビュー] On the Nuclear Norm and the Singular Value Decomposition of Tensors

Harm Derksen|arXiv (Cornell University)|Aug 18, 2013

Tensor decomposition and applications参考文献 11被引用数 4

ひとこと要約

本稿は、高次テンソルにおける特異値分解（SVD）の新しい一般化、すなわち対角特異値分解（DSVD）を導入し、テンソルランクの凸緩和としての核ノルムを体系的に検討する。$ n \geq 3 $ の場合、行列式テンソルとパーマネントテンソルはDSVDを有しないことが示され、それらの核ノルムとスペクトルノルムの正確な値が導出され、この枠組みにおける低ランク分解への根本的障害が明らかにされる。

ABSTRACT

Finding the rank of a tensor is a problem that has many applications. Unfortunately it is often very difficult to determine the rank of a given tensor. Inspired by the heuristics of convex relaxation, we consider the nuclear norm instead of the rank of a tensor. We determine the nuclear norm of various tensors of interest. Along the way, we also do a systematic study various measures of orthogonality in tensor product spaces and we give a new generalization of the Singular Value Decomposition to higher order tensors.

研究の動機と目的

• 高次テンソルにおけるSVDの新しい一般化、すなわち対角特異値分解（DSVD）を考案し、行列SVDの性質をテンソルへ拡張すること。
• テンソルランクの凸緩和としての核ノルムを検討し、テンソル補完や低ランク近似への応用を念頭におくこと。
• パーマネントや行列式といった重要なテンソルの核ノルムとスペクトルノルムの正確な値を特定し、構造的複雑性に関する洞察を提供すること。
• 直交性条件の分析を通じてDSVDの存在と限界を調査し、分解に必要な必要条件を導出すること。

提案手法

• 2-直交な純テンソルと順序付き特異値に基づく、新しいテンソル分解フレームワーク、対角特異値分解（DSVD）を提唱する。
• r個の純テンソルのt-直交性を定義し、テンソル積空間における直交性の一般化を図り、DSVDの存在条件を確立する。
• 核ノルムを、すべての分解 $ T = \sum v_i $ における $ \|v_i\| $ の和として定義し、この和を最小化することでノルムを定義する。
• 定理1.1および系1.2を適用し、核ノルムとスペクトルノルムの双対性を用いてスペクトルノルムの上限を導出する。
• 行列式とパーマネントの一般化されたラプラース展開を用いて、テンソルランクの下界を導出する。
• 次元数え上げと組合せ的議論を用い、$ \|\operatorname{per}_n\|_* = n^{n/2} $、$ \|\det_n\|_* = n! $、および $ [\operatorname{per}_n] = n! / n^{n/2} $ を示す。

実験結果

リサーチクエスチョン

• RQ1 行列式テンソル $ \det_n $ は $ n \geq 3 $ の場合に、対角特異値分解（DSVD）を有するか？
• RQ2 パーマネントテンソル $ \operatorname{per}_n $ は $ n \geq 3 $ の場合に、DSVDを有するか？
• RQ3 パーマネントテンソルおよび行列式テンソルの核ノルムとスペクトルノルムの正確な値は何か？
• RQ4 テンソルの核ノルムとスペクトルノルムの関係は何か？ そして、DSVDの存在にどのような制約をもたらすか？
• RQ5 一般化されたラプラース展開を用いて、$ \det_n $ および $ \operatorname{per}_n $ のテンソルランクに対するタイトな下界を導出できるか？

主な発見

• パーマネントテンソル $ \operatorname{per}_n $ の核ノルムは正確に $ n^{n/2} $ であり、スペクトルノルムは $ n! / n^{n/2} $ であるため、核ノルムとスペクトルノルムの比は $ n^n / n! $ である。
• 行列式テンソル $ \det_n $ の核ノルムは $ n! $、スペクトルノルムは $ n! / n^{n/2} $ であり、同じ比 $ n^n / n! $ を示す。この比は $ n \geq 3 $ の場合、整数でない。
• $ n \geq 3 $ の場合、パーマネントテンソル $ \operatorname{per}_n $ はDSVDを有しない。なぜなら、必要な重複度 $ r = n^n / n! $ が整数でないからである。
• $ n \geq 3 $ の場合、行列式テンソル $ \det_n $ はDSVDを有しない。なぜなら、必要な重複度 $ r = n! $ が、最大で $ n^{n/2} $ 個に制限される2-直交な純テンソルの数を超えるからである。
• $ \det_3 $ のテンソルランクは5以下であり、$ \operatorname{rank}(\det_n) \leq \left(\frac{5}{6}\right)^{\lfloor n/3 \rfloor} n! $ を満たすため、階乗より小さい成長を示す。
• 一般化されたラプラース展開により、$ \operatorname{rank}(\det_n) \geq \binom{n}{\lfloor n/2 \rfloor} $ の下界が得られ、テンソルランクが指数的成長を示すことが示唆される。