[論文レビュー] Orthogonal Tensor Decompositions via Two-Mode Higher-Order SVD (HOSVD).

Miaoyan Wang, Yun Song|arXiv (Cornell University)|Dec 12, 2016

Tensor decomposition and applications被引用数 1

ひとこと要約

本稿では、対称的で、ほぼ直交的に分解可能なテンソルの直交的テンソル分解のための、新しい二モードの高階特異値分解（HOSVD）手法を提案する。2つのテンソルモードにわたるランク1制約を活用し、クリスカルの一意性定理に裏打ちされたこの手法により、特に高階テンソルおよび多様なノイズ環境下において、古典的HOSVDに比べて優れたノイズ耐性と高い推定精度を達成する。

ABSTRACT

Tensor decompositions have rich applications in statistics and machine learning, and developing efficient, accurate algorithms for the problem has received much attention recently. Here, we present a new method built on Kruskal's uniqueness theorem to decompose symmetric, nearly orthogonally decomposable tensors. Unlike the classical higher-order singular value decomposition which unfolds a tensor along a single mode, we consider unfoldings along two modes and use rank-1 constraints to characterize the underlying components. This tensor decomposition method provably handles a greater level of noise compared to previous methods and achieves a high estimation accuracy. Numerical results demonstrate that our algorithm is robust to various noise distributions and that it performs especially favorably as the order increases.

研究の動機と目的

• 対称的で、ほぼ直交的に分解可能なテンソルのための、よりロバストで正確なテンソル分解手法の開発を目的とする。
• 古典的HOSVDの限界を解決する。古典的HOSVDはテンソルを1つのモードに沿って展開するが、ノイズ下では効果が低い。
• テンソルの階数が上昇するに従い、ノイズ耐性と推定精度を向上させることを目的とする。
• クリスカルの一意性定理を活用して、分解プロセスにおける成分同定の信頼性を保証することを目的とする。

提案手法

• 本手法は、古典的HOSVDが1つのモードに沿って展開するのに対し、2つのモードを同時に展開する。
• 得られた行列に対してランク1制約を課し、元のテンソル成分を特徴付ける。
• 本手法はクリスカルの一意性定理に裏打ちされており、特定のランク条件を満たすと一意的な分解が保証される。
• 二モード展開に適応した高階特異値分解技術を用いて直交成分を抽出する。
• 直交性を維持するとともにノイズ下での安定性を高める最適化問題として分解を定式化する。
• 本手法は対称的テンソルを特に想定しており、その構造的性質を活用して精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 古典的HOSVDに比べて、より高いノイズレベルに耐えるテンソル分解の改善策は何か？
• RQ2 二モード展開とランク1制約を組み合わせることで、より正確で安定したテンソル成分推定が可能になるか？
• RQ3 テンソルの階数が上昇するに従い、本手法の性能は劣化しないか？
• RQ4 多様なノイズ分布下で、本手法は既存手法に比べてどの程度推定精度で優位性を示すか？

主な発見

• 提案手法は、特にノイズ環境下で古典的HOSVDに比べて高い推定精度を達成する。
• ガウスノイズや重尾ノイズを含む多様なノイズ分布に対して、より高い耐性を示す。
• テンソルの階数が上昇するに従い、本手法は強力な性能を維持し、高階設定においても従来手法を上回る。
• 二モード展開とランク1制約の枠組みにより、本手法はより高いノイズレベルを理論的に処理可能である。
• 数値実験により、本手法は複数の合成的および実世界のテンソル分解タスクにおいて、安定性と正確性を確認している。