[論文レビュー] Generalized Higher-Order Tensor Decomposition via Parallel ADMM

Fanhua Shang, Yuanyuan Liu+1 more|arXiv (Cornell University)|Jul 5, 2014

Tensor decomposition and applications参考文献 26被引用数 14

ひとこと要約

本稿では、事前のランク指定なしに各モードにおける低ランク要因を自動的に特定する凸型でトレースノルム正則化付きテンソル分解手法を提案する。テンソルとコアテンソルのトレースノルムの等価性を活用し、非凸問題を重み付き行列トレースノルム最小化問題に再定式化することで、合成および実世界のデータ（MRIや動画データを含む）において、ノイズや外れ値に対して優れた精度とロバスト性を達成する2つの並列ADMMアルゴリズムを開発した。

ABSTRACT

Higher-order tensors are becoming prevalent in many scientific areas such as computer vision, social network analysis, data mining and neuroscience. Traditional tensor decomposition approaches face three major challenges: model selecting, gross corruptions and computational efficiency. To address these problems, we first propose a parallel trace norm regularized tensor decomposition method, and formulate it as a convex optimization problem. This method does not require the rank of each mode to be specified beforehand, and can automatically determine the number of factors in each mode through our optimization scheme. By considering the low-rank structure of the observed tensor, we analyze the equivalent relationship of the trace norm between a low-rank tensor and its core tensor. Then, we cast a non-convex tensor decomposition model into a weighted combination of multiple much smaller-scale matrix trace norm minimization. Finally, we develop two parallel alternating direction methods of multipliers (ADMM) to solve our problems. Experimental results verify that our regularized formulation is effective, and our methods are robust to noise or outliers.

研究の動機と目的

• 事前に定義されたランクがしばしば最適でない結果をもたらす高次元テンソル分解におけるランク選択の課題に対処すること。
• CP や Tucker のような従来のテンソル分解手法が、著しい汚染やノイズに対して感受性が強い問題を克服すること。
• 並列処理の導入と問題スケールの低減により、高次元テンソルにおける計算効率の向上を図ること。
• 手動でのランク入力を不要にし、各モードにおける要因数を自動的に決定する凸型最適化フレームワークの構築。
• テンソル補完、低ランクおよびスパーステンソル分解などの応用分野におけるロバストなテンソル回復を可能にすること。

提案手法

• 高次元テンソルにおける低ランク構造を促進するため、トレースノルム正則化を用いた凸型最適化問題を定式化する。
• 低ランクテンソルのトレースノルムとそのコアテンソルのトレースノルムの等価性を確立し、計算を効率化する。
• 非凸な高次元直交反復モデルを、小規模な行列トレースノルム最小化問題の重み付き組み合わせに再定式化する。
• 得られた凸問題を解くために2つの並列ADMMアルゴリズムを設計し、スケーラビリティと収束速度を向上させる。
• テンソルの各モードに跨る並列処理を活用した交替方向乗数法（ADMM）を採用し、計算効率を向上させる。
• 元の非凸テンソル分解モデルを近似するため、重み付きノルム最小化戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 事前のランク指定が不要な状況で、凸型テンソル分解フレームワークが各モードにおける要因数を自動的に特定できるか？
• RQ2 トレースノルム正則化は、高次元テンソル分解におけるノイズおよび著しい汚染に対して、どのようにロバスト性を向上させるか？
• RQ3 テンソルとコアテンソルのトレースノルムの等価性をどの程度活用して計算複雑度を低減できるか？
• RQ4 並列ADMMアルゴリズムは、従来手法と比較して大規模テンソルデータにおいて、より速い収束と優れたスケーラビリティを達成できるか？
• RQ5 合成および実世界のテンソルデータにおいて、本手法はHOSVD、HOOI、ADMMといった既存手法と比較して、精度および効率でどのように優れているか？

主な発見

• 合成された3次および4次テンソルにおいて、CTDおよびNCTD手法はHOSVD、HOOI、Mixture、ADMMと比較して顕著に低い相対標準誤差（RSE）を達成しており、ランク5におけるRSEは最小で6.52e-03にまで低下している。
• 200×200×200のテンソルにおいて、NCTDはHOSVDおよびHOOIと比較してRSEを80％以上低減しており、両者ともRSEが約3.3×10⁻²を記録している。
• 60×60×60×60のテンソルにおいて、NCTDは全テストランクでRSEが7.2×10⁻³未満を維持しており、HOSVDおよびHOOIはRSEが3.8×10⁻²を超える結果を示している。
• フェーズ遷移プロットでは、CTDおよびNCTDがHOSVDおよびHOOIよりも高いノイズレベルおよびランク設定でも低ランクテンソルを成功裏に回復しており、完全回復を示す白色領域がより広がっている。
• 181×217×181の脳MRIデータセット（181×217×181）において、CTDおよびNCTDは全テストランクでHOSVDおよびHOOIと比較して一貫して低いRSEを達成しており、NCTDは対数スケールでより速い実行時間を示している。
• NCTDはHOSVDおよびHOOIよりも高速であり、60×60×60×60のテンソルにおいてランク20の処理で100秒未満の実行時間である一方、HOOIは4000秒を超える時間を要している。