[論文レビュー] Incoherent Tensor Norms and Their Applications in Higher Order Tensor Completion

Ming Yuan, Cun‐Hui Zhang|arXiv (Cornell University)|Jun 10, 2016

Tensor decomposition and applications参考文献 17被引用数 5

ひとこと要約

本稿では、高次テンソル補完における核ノルム最小化を改善するため、非一貫性を考慮したテンソルノルムを導入する。k次テンソルがランクrで次元d×⋯×dである場合、O((r^{(k-1)/2}d^{3/2} + r^{k-1}d)(log d)^2) 個の均一に抽出された要素から、完全に復元可能であることを示している。主な貢献は、明示的に非一貫性を考慮することで、サンプルサイズの要件を低減し、標準的な核ノルム最小化を超えて、行列と高次テンソル補完の間の根本的な違いを明らかにしたことにある。

ABSTRACT

In this paper, we investigate the sample size requirement for a general class of nuclear norm minimization methods for higher order tensor completion. We introduce a class of tensor norms by allowing for different levels of coherence, which allows us to leverage the incoherence of a tensor. In particular, we show that a $k$th order tensor of rank $r$ and dimension $d imes\cdots imes d$ can be recovered perfectly from as few as $O((r^{(k-1)/2}d^{3/2}+r^{k-1}d)(\log(d))^2)$ uniformly sampled entries through an appropriate incoherent nuclear norm minimization. Our results demonstrate some key differences between completing a matrix and a higher order tensor: They not only point to potential room for improvement over the usual nuclear norm minimization but also highlight the importance of explicitly accounting for incoherence, when dealing with higher order tensors.

研究の動機と目的

• 行列を超えた高次テンソル補完における核ノルム最小化のサンプルサイズ要件を解決すること。
• テンソル部分空間内の非一貫性が低ランクテンソルの復元に与える影響を調査すること。
• さまざまな一貫性レベルを組み込んだ非一貫性テンソルノルムの一般枠組みを構築すること。
• 非一貫性が従来よりも顕著に顕在される高次テンソル補完において、より重要な役割を果たすことを示すこと。
• 非一貫性に適応したノルムを活用することで、より少ないサンプルで完全なテンソル復元を理論的に保証すること。

提案手法

• 異なる一貫性レベルを許容するテンソルノルムのクラスを提案し、非一貫性のあるテンソル構造をより効果的に活用可能にする。
• テンソルのモード-j ファイバー部分空間 L_j(X) の一貫性に基づいて、μ*-非一貫性を定義する。
• 非一貫性情報を重み付きノルム構造を通じて組み込んだ、修正された核ノルム最小化フレームワークを導入する。
• テンソルから要素が均一かつ独立に抽出される確率的サンプリングモデルを用いる。
• 濃度不等式とスペクトルノルムの上限を用いて、新しいノルムフレームワーク下での高確率的復元保証を導出する。
• 再帰的作用素分解と行列の濃度技術を用いて、復元プロセスにおける誤差を評価する。

実験結果

リサーチクエスチョン

• RQ1 高次テンソルにおける非一貫性を活用することで、完全なテンソル補完に必要なサンプル数を削減可能か？
• RQ2 非一貫性を明示的にモデル化した場合、テンソルの次数k、ランクr、次元dと、テンソル補完のサンプルサイズ要件はどのようにスケーリングするか？
• RQ3 非一貫性制約下で、核ノルム最小化によりk次テンソルをランクrで復元するために必要な、均一に抽出された要素の理論的最小数は何か？
• RQ4 標準的な核ノルム最小化と、非一貫性に適応した変種との間で、高次テンソル補完における性能にどのような差が生じるか？
• RQ5 Tuckerランクとモード固有の部分空間の構造が、テンソル補完における復元保証にどの程度影響を及えるか？

主な発見

• k次テンソルがランクrで次元d×⋯×dである場合、非一貫性核ノルム最小化を用いることで、O((r^{(k-1)/2}d^{3/2} + r^{k-1}d)(log d)^2) 個の均一に抽出された要素から完全に復元可能である。
• サンプルサイズ要件は、ランク1テンソル（r=1）の場合、次数kに依存するO(1)係数のみであり、非一貫性に適応した手法がテンソル次数に伴い良好にスケーリングされることを示している。
• 非一貫性を明示的に考慮することで、標準的な核ノルム最小化に比べ、高次設定において必要なサンプル数を削減できる。
• 理論的解析により、テンソルが完全に非一貫的でない場合でも、新しいノルムフレームワーク下で高確率的復元が達成可能であることが示された。
• 行列と高次テンソル補完の間の重要な違いが明らかになった：非一貫性は後者においてより重要な役割を果たしており、標準的な核ノルム最小化が高次テンソルに対しては最適でない可能性を示唆している。
• 本フレームワークは、非一貫性を組み込んだテンソル補完におけるより効率的な近似アルゴリズムの設計の理論的基盤を提供する。