[論文レビュー] Fast algorithms for Higher-order Singular Value Decomposition from incomplete data

Yangyang Xu|arXiv (Cornell University)|Nov 16, 2014

Tensor decomposition and applications参考文献 39被引用数 5

ひとこと要約

本稿では、不完全な多次元データに対して同時に低ランクテンソル補完と高次特異値分解（HOSVD）を実行する統合最適化フレームワークを提案する。補完と分解を統合した非凸問題をブロック座標更新法で解くことで、最先端の手法よりも高速な収束と優れた精度を達成し、弱い条件下でもHOOIアルゴリズムのグローバル収束が初めて証明された。

ABSTRACT

Higher-order singular value decomposition (HOSVD) is an efficient way for data reduction and also eliciting intrinsic structure of multi-dimensional array data. It has been used in many applications, and some of them involve incomplete data. To obtain HOSVD of the data with missing values, one can first impute the missing entries through a certain tensor completion method and then perform HOSVD to the reconstructed data. However, the two-step procedure can be inefficient and does not make reliable decomposition. In this paper, we formulate an incomplete HOSVD problem and combine the two steps into solving a single optimization problem, which simultaneously achieves imputation of missing values and also tensor decomposition. We also present two algorithms for solving the problem based on block coordinate update. Global convergence of both algorithms is shown under mild assumptions. The convergence of the second algorithm implies that of the popular higher-order orthogonality iteration (HOOI) method, and thus we, for the first time, give global convergence of HOOI. In addition, we compare the proposed methods to state-of-the-art ones for solving incomplete HOSVD and also low-rank tensor completion problems and demonstrate the superior performance of our methods over other compared ones. Furthermore, we apply them to face recognition and MRI image reconstruction to show their practical performance.

研究の動機と目的

• 不完全な多次元データに対する従来の2段階手法（テンソル補完の後にHOSVDを実行）の非効率性と不正確さを是正すること。
• 欠損値の補完と切り詰められたHOSVDの計算を同時に実行する統合最適化フレームワークの開発。
• これまで未解決であった高次直交性反復（HOOI）法のグローバル収束を確立すること。
• より信頼性の高い低ランクテンソル因子を生成することで、顔認識やMRI再構成などの下流タスクの性能を向上させること。

提案手法

• 観測されたデータと再構築されたテンソルの差のフロベニウスノルムを最小化する非凸最適化問題として、不完全HOSVD問題を定式化する。
• 正規直交制約の下で、コアテンソルと因子行列を交互に更新するブロック座標降下（BCD）アルゴリズムを用いて問題を解く。
• ブロック座標更新（BCU）スキームを採用し、コアテンソルは多次元アンフォールディングとモード-nテンソル行列積を介して更新する。
• 各更新ステップ後に因子行列の正規直交性を保つために、経済的QR分解を適用する。
• 各反復で再構築されたテンソルを更新することで、観測済みエントリと整合性を保つためのプロジェクションステップを実装する。
• 弱い仮定の下でアルゴリズムのグローバル収束を証明し、これはHOOI法に対する初めてのグローバル収束結果を示す。

実験結果

リサーチクエスチョン

• RQ1 テンソル補完とHOSVDの統合的最適化フレームワークは、標準的な2段階手法よりも精度と効率性に優れるか？
• RQ2 提案手法はグローバル収束を達成するのか？ その証明が、広く使われているHOOI法の収束性を確立するのに役立つのか？
• RQ3 実世界のデータセットにおいて、提案手法は最先端のテンソル補完および低ランクテンソル近似技術と比較して、どのように性能を発揮するか？
• RQ4 共同で学習されたテンソル因子は、顔認識などの分類タスクの性能向上に寄与するか？
• RQ5 データが極めて不完全な状況下でも、本手法は従来の手法と比較してより信頼性が高く安定した低ランク近似を生成するか？

主な発見

• 提案手法は、合成および実世界の不完全テンソルデータセットにおいて、最先端の低ランクテンソル補完手法よりも優れた再構成精度を達成した。
• 顔認識タスクにおいても性能が向上し、より信頼性が高く構造的な因子行列のおかげで分類精度が向上した。
• 弱い仮定の下でアルゴリズムがグローバルに収束し、これはHOOI法に対する初めてのグローバル収束証明を示している。
• 本手法は同時にテンソル補完とHOSVDを実行し、1つの統合フレームワーク内で再構築されたテンソルと低ランク分解を生成する。
• 実験結果から、本手法は逐次的な補完と分解パイプラインよりも高速かつ高精度であることが示された。
• 本手法は高精度なMRI画像の再構築に成功し、医療画像分野における実用的価値を示した。