[論文レビュー] On Higher-order Singular Value Decomposition from Incomplete Data.

Yangyang Xu|arXiv (Cornell University)|Nov 16, 2014

Tensor decomposition and applications被引用数 3

ひとこと要約

本稿では、不完全なテンソルデータにおける高次特異値分解（HOSVD）の統一的最適化フレームワークを提案する。テンソル補完と分解を1つの非凸問題に統合することで、従来の2段階手法（補完後にHOSVD）の非効率性と信頼性の低さを解消する。ブロック座標更新アルゴリズムを活用し、グローバル収束の保証を得ることで、低ランクテンソル補完および顔認識やMRI再構成といった応用分野において、最先端の手法を上回る性能を達成する。

ABSTRACT

Abstract. Higher-order singular value decomposition (HOSVD) is an efficient way for data reduction and also eliciting intrinsic structure of multi-dimensional array data. It has been used in many applications, and some of them involve incomplete data. To obtain HOSVD of the data with missing values, one can first impute the missing entries through a certain tensor completion method and then perform HOSVD to the reconstructed data. However, the two-step procedure can be inefficient and does not make reliable decomposition. In this paper, we formulate an incomplete HOSVD problem and combine the two steps into solving a single optimization problem, which simultaneously achieves imputation of missing values and also tensor decomposition. We also present two algorithms for solving the problem based on block coordinate update. Global convergence of both algorithms is shown under mild assumptions. The convergence of the second algorithm implies that of the popular higher-order orthogonality iteration (HOOI) method, and thus we, for the first time, give global convergence of HOOI. In addition, we compare the proposed methods to state-of-the-art ones for solving incomplete HOSVD and also low-rank tensor completion problems and demonstrate the superior performance of our methods over other compared ones. Furthermore, we apply them to face recognition and MRI image reconstruction to show their practical performance. Key words. multilinear data analysis, higher-order singular value decomposition (HOSVD), low-rank tensor completion, non-convex optimization, higher-order orthogonality iteration (HOOI), global convergence.

研究の動機と目的

• 不完全なテンソルデータに対する従来の2段階手法（補完後にHOSVD）の非効率性と信頼性の低さを解決する。
• テンソル補完と高次特異値分解を同時に実行する1つの最適化問題を定式化する。
• やや厳しい仮定の下でも収束するアルゴリズムを構築する。
• 高次正規直交反復法（HOOI）のグローバル収束を、初めて理論的に確立する。
• 顔認識やMRI再構成といった実世界の応用分野において、低ランクテンソル補完の分野で改善された性能を示す。

提案手法

• 低ランク近似誤差と高次正規直交性を同時に最小化する非凸最適化問題として、不完全HOSVD問題を定式化する。
• 2つのブロック座標更新アルゴリズムを導入：1つは交互最小化、もう1つはランク近似にための変数ハードスレッショーティングを用いる。
• コアテンソルと因子行列を最適化する反復的構造として、テンソルトレーサー分解を基盤に据える。
• コアテンソルを固定した場合に因子行列を、逆に因子行列を固定した場合にコアテンソルを更新する交互最小二乗法を適用し、やや厳しい条件のもとで収束を保証する。
• ハードスレッショーティングを用いたランク維持機構を導入し、最適化過程での低ランク構造を維持する。
• 両アルゴリズムが標準的な仮定のもとでグローバル収束することを証明し、特に2番目のアルゴリズムの収束性がHOOI法のグローバル収束性を示唆する。

実験結果

リサーチクエスチョン

• RQ1 不完全なデータに対して、テンソル補完とHOSVDを同時に実行する統一的最適化フレームワークを設計可能か？ 2段階手法の非効率性を回避できるか？
• RQ2 提案されたブロック座標更新アルゴリズムが、やや厳しい仮定のもとでグローバル収束を達成できるか？
• RQ3 提案されたアルゴリズムの収束性が、かつてその保証がなかった広く使われているHOOI法のグローバル収束性を示唆するか？
• RQ4 低ランクテンソル補完タスクにおいて、提案手法が最先端の手法と比べて精度と効率の点で優れているか？
• RQ5 顔認識やMRI画像再構成といった実世界の応用分野において、提案手法が優れた性能を発揮できるか？

主な発見

• 提案された統一的最適化フレームワークは、低ランクテンソル補完タスクにおいて最先端の手法を上回り、高い精度と高速な収束性を示した。
• 最初のブロック座標更新アルゴリズムはやや厳しい仮定のもとでグローバル収束を示し、その理論的基盤を提供した。
• 2番目のアルゴリズムの収束性がHOOI法のグローバル収束性を示唆し、長年の未解決問題を解決した。
• 顔認識およびMRI画像再構成タスクにおいて、従来の手法と比較して優れた再構成精度を達成した。
• 実験的結果から、補完と分解を統合することで、逐次的な2段階的手法よりも信頼性が高く、より強固なテンソル分解が得られることを示した。