[論文レビュー] Convex Tensor Decomposition via Structured Schatten Norm Regularization

Ryota Tomioka, Taiji Suzuki|arXiv (Cornell University)|Mar 26, 2013

Sparse and Compressive Sensing Techniques参考文献 23被引用数 70

ひとこと要約

本稿では、凸テンソル分解のための構造的シュタインノルムを導入し、平均二乗誤差が平均ランクではなく最小タッカー・ランクに比例するようにスケーリングされる、潜在的シュタイン1-ノルムアプローチを提案する。この手法は一貫性、同定可能性、および特に真のテンソルが1つのモードでのみ低ランクである場合に優れたノイズ除去性能を示し、誤差スケーリング行動の理論的および実験的妥当性を裏付けている。

ABSTRACT

We discuss structured Schatten norms for tensor decomposition that includes two recently proposed norms ("overlapped" and "latent") for convex-optimization-based tensor decomposition, and connect tensor decomposition with wider literature on structured sparsity. Based on the properties of the structured Schatten norms, we mathematically analyze the performance of "latent" approach for tensor decomposition, which was empirically found to perform better than the "overlapped" approach in some settings. We show theoretically that this is indeed the case. In particular, when the unknown true tensor is low-rank in a specific mode, this approach performs as good as knowing the mode with the smallest rank. Along the way, we show a novel duality result for structures Schatten norms, establish the consistency, and discuss the identifiability of this approach. We confirm through numerical simulations that our theoretical prediction can precisely predict the scaling behavior of the mean squared error.

研究の動機と目的

• 重ね合わせアプローチと潜在的アプローチの間の統計的性能格差を、凸テンソル分解の文脈で解消すること。
• 真のテンソルが唯一のモードでのみ低ランクであるような状況において、潜在的アプローチが重ね合わせアプローチを上回る理由を理論的に分析すること。
• 潜在的シュタイン1-ノルム最小化フレームワークの一致性と同定可能性を確立すること。
• 重ね合わせと潜在的シュタインノルムの間の新しい双対性を導出し、テンソル分解を構造的スパarsity文献と結びつけること。
• 平均二乗誤差スケーリングの理論的予測を、数値シミュレーションによって検証すること。

提案手法

• 各モードにおける低ランク成分の混合としてテンソルをモデル化する、潜在的シュタイン1-ノルム正則化を提案する。
• 双対性原理を用いて、重ね合わせおよび潜在的アプローチを一般化する、構造的シュタインノルムフレームワークを導入する。
• モード固有の展開に核ノルム（シュタイン1-ノルム）正則化を適用し、構造的・モードに配慮した形で低ランク構造を誘導する。
• 重ね合わせシュタイン1-ノルムと潜在的シュタイン1-ノルムの間の双対性を導出し、構造的スパarsity理論の結果を拡張する。
• 理論的分析により、潜在的アプローチの平均二乗誤差がモード間の最小タッカー・ランクによって上界で抑えられることを示す。
• 理論的条件に従って正則化定数をスケーリングした、さまざまなテンソルサイズと潜在的ランクにおける数値シミュレーションを通じて予測を検証する。

実験結果

リサーチクエスチョン

• RQ1 なぜ、真のテンソルが唯一のモードでのみ低ランクである場合に、凸テンソル分解における潜在的アプローチが実務的に重ね合わせアプローチを上回るのか？
• RQ2 潜在的アプローチの平均二乗誤差は、真のテンソルの最小タッカー・ランクの関数として理論的に上界で抑えられるか？
• RQ3 適切な条件下で、潜在的シュタイン1-ノルム最小化は一貫性と同定可能性を満たすか？
• RQ4 重ね合わせと潜在的シュタインノルムの間の双対性関係は何か？ そして、これは構造的スパarsityとどのように関連するか？
• RQ5 正則化定数の理論的スケーリングは、異なるテンソル次元とランクにおいて、潜在的アプローチの実験的性能を正確に予測できるか？

主な発見

• 潜在的アプローチの平均二乗誤差は、真のテンソルの最小タッカー・ランクによって上界で抑えられ、これが唯一のモードでのみ低ランクである場合の優れた性能を説明する。
• 重ね合わせアプローチの誤差は、タッカー・ランクの平均（平方根）に比例してスケーリングされるため、唯一のモードでのみ低ランクである場合に効果が劣る。
• 適切な正則化のもとで、潜在的アプローチは一貫性を達成し、理論的誤差バインディングが実験的観察と一致する。
• 数値シミュレーションにより、平均二乗誤差が理論的予測どおり、テンソルサイズおよび潜在的ランクに対して正確にスケーリングされることが確認された。
• 潜在的アプローチの最適な正則化定数は、テンソルサイズにのみ依存し、潜在的ランクには依存しないため、真のランクを事前に知らない状況でも頑健な性能が得られる。
• 真のテンソルが1つのモードでのみ低ランクである場合に限り、潜在的モデルは同定可能であり、これは理論的および実験的結果と整合する。