[論文レビュー] Are Tensor Decomposition Solutions Unique? On the global convergence of HOSVD and ParaFac algorithms

Dijun Luo, Heng Huang+1 more|ArXiv.org|Feb 26, 2009

Tensor decomposition and applications参考文献 2被引用数 4

ひとこと要約

本稿では、HOSVDおよびParaFacアルゴリズムを用いたテンソル分解の解の一意性とグローバル収束性を調査する。目的関数が非凸であるにもかかわらず、HOSVDは実世界のデータセットにおいて一貫して一意なグローバル解に収束するが、ParaFacはそうではない。本研究では、相関行列の固有値分布がHOSVD解の一意性を信頼性高く予測可能であると特定した。

ABSTRACT

For tensor decompositions such as HOSVD and ParaFac, the objective functions are nonconvex. This implies, theoretically, there exists a large number of local optimas: starting from different starting point, the iteratively improved solution will converge to different local solutions. This non-uniqueness present a stability and reliability problem for image compression and retrieval. In this paper, we present the results of a comprehensive investigation of this problem. We found that although all tensor decomposition algorithms fail to reach a unique global solution on random data and severely scrambled data; surprisingly however, on all real life several data sets (even with substantial scramble and occlusions), HOSVD always produce the unique global solution in the parameter region suitable to practical applications, while ParaFac produce non-unique solutions. We provide an eigenvalue based rule for the assessing the solution uniqueness.

研究の動機と目的

• 非凸最適化の文脈において、テンソル分解アルゴリズム（特にHOSVDおよびParaFac）の解の一意性を調査すること。
• 実世界およびランダム化データセット上で、HOSVDおよびParaFacが異なる初期化条件に対してもグローバルに一意な解を生成するかを特定すること。
• 相関行列の固有値分布に基づいて、HOSVD解が一意になるかどうかを予測する実用的な基準を開発すること。
• 画像圧縮やリtrievalなどの応用分野において、解の安定性が極めて重要な文脈で、HOSVDおよびParaFacの信頼性と再現性を評価すること。

提案手法

• HOSVDおよびParaFacを、AT&T、WANG、Caltech 101など6つの実世界データセット（異なるテンソル次元およびランクを有する）に対して実験的に評価する。
• 3種類のデータランダマイゼーションを適用する：ブロックシャッフル、ピクセルシャッフル（40%、60%、80%）、オクルージョン。これにより、解のロバストネスをテストする。
• テンソルデータから相関行列F、G、Hを計算し、これらから得られる固有値分布を用いて、一意性予測に利用する。
• 反復的交互最小二乗法を用いてHOSVDおよびParaFacを解き、複数のランダム初期化における収束挙動を追跡する。
• 固有値のクラスタリング（近い値の固有値）とHOSVD解の一意性の欠如との関係を分析する。
• GLRAMの結果とHOSVDを比較し、類似した一意性のパターンを観察したが、スペース制約のためGLRAMの詳細は示さない。

実験結果

リサーチクエスチョン

• RQ1 HOSVDは、実世界のテンソルデータにおいて、異なる初期化条件に対しても一意なグローバル解を生成するか？
• RQ2 ブロックシャッフル、ピクセルシャッフル、オクルージョンなどのデータランダマイゼーションは、HOSVDおよびParaFacの解の一意性にどのように影響するか？
• RQ3 相関行列F、G、Hの固有値分布は、HOSVDが一意な解に収束するかどうかを予測できるか？
• RQ4 非凸最適化であるにもかかわらず、HOSVDは実データにおいて一意な収束を示すが、ParaFacはそうではない。その理由は何か？
• RQ5 HOSVDが一意な解に収束しない条件は何か。これらの状況は事前に予測可能か？

主な発見

• 全テスト対象の実世界データセット（AT&T、WANG、Caltech 101）において、HOSVDは初期化に依存せず一貫して一意な解に収束し、高い安定性と再現性を示した。
• 極めて強いデータランダマイゼーション（例：80%ピクセルシャッフル、ブロックシャッフル）に対しても、HOSVDは実データでは一意な収束を維持したが、純粋にランダムなテンソルではそうではなかった。
• ParaFacの解は、全データセットおよび初期化条件において一貫して非一意であった。これは非凸最適化の予想される挙動を裏付けた。
• HOSVDが一意な解に収束しないのは、非常にランダマイズされたまたは完全にランダムなテンソルに限られ、その際F、G、Hの固有値がほぼ同一であった。
• 複数の固有モードが類似した固有値を持つ場合（例：8つの顕著なモードが近い値を示す）、HOSVDは選択に曖昧さを生じさせ、非一意な解に至った。
• F、G、H行列の固有値分布は、HOSVD解の一意性を信頼性高く予測可能であった：上位の固有モードが明確に分離している場合、一意な収束が予測可能であり、固有値がクラスタリングしている場合、曖昧さが生じることを示した。