[論文レビュー] Tensor Ring Decomposition: Energy Landscape and One-loop Convergence of Alternating Least Squares

Ziang Chen, Ying‐Zhou Li+1 more|arXiv (Cornell University)|May 17, 2019

Tensor decomposition and applications被引用数 3

ひとこと要約

本稿は、交互最小二乗法（ALS）を用いたテンソルリング分解を分析し、結合次元における最適化の難易度の急激な転移を明らかにした。過剰パラメータ化下でも偽の局所最適解が存在するが、結合次元が十分に大きい場合には1ループ収束が理論的に保証される。本研究は理論的分析と数値的検証を統合し、テンソルリング学習におけるALSの収束条件を確立する。

ABSTRACT

In this work, we study the tensor ring decomposition and its associated numerical algorithms. We establish a sharp transition of algorithmic difficulty of the optimization problem as the bond dimension increases: On one hand, we show the existence of spurious local minima for the optimization landscape even when the tensor ring format is much over-parameterized, i.e., with bond dimension much larger than that of the true target tensor. On the other hand, when the bond dimension is further increased, we establish one-loop convergence for alternating least square algorithm for tensor ring decomposition. The theoretical results are complemented by numerical experiments for both local minimum and one-loop convergence for the alternating least square algorithm.

研究の動機と目的

• 結合次元の変化に伴うテンソルリング分解の最適化ランドスケープを理解すること。
• テンソルリング学習における偽の局所最適解の存在とその影響を調査すること。
• 交互最小二乗法（ALS）が1ループ収束を達成する条件を確立すること。
• テンソルリング分解におけるALSの理論的分析と数値的検証を橋渡しすること。

提案手法

• 非凸最適化の道具を用いたテンソルリング分解の最適化ランドスケープの理論的分析。
• 過剰パラメータ化設定における反例の構築により、偽の局所最適解の特定。
• ALSの1ループ収束を保証する結合次元に関する条件の導出。
• テンソルリング学習におけるコアアルゴリズムフレームワークとしての交互最小二乗法（ALS）の使用。
• 局所最適解および収束行動に関する理論的発見の数値的実験による検証。

実験結果

リサーチクエスチョン

• RQ1 結合次元が真のテンソルのランクよりも著しく大きい場合でも、テンソルリング分解に偽の局所最適解が存在するか？
• RQ2 最適化ランドスケープが偽の最適解を有する領域と、ALSの1ループ収束を可能にする領域に分かれる結合次元はどの程度か？
• RQ3 特定の過剰パラメータ化条件下で、テンソルリング分解におけるALSの1ループ収束を理論的に保証できるか？
• RQ4 結合次元が増加するに従い、ALSのアルゴリズム的挙動はどのように変化するか。特に収束性および局所最適解との関係において。

主な発見

• 結合次元が真のテンソルのランクよりも著しく大きい場合でも、テンソルリング分解において偽の局所最適解が存在し、過剰パラメータ化だけでは最適化の課題が解消されないことを示している。
• 結合次元の増加に伴い、アルゴリズム的難易度に急激な転移が生じ、偽の最適解を有する領域とない領域に分かれる。
• 結合次元が臨界閾値を超えると、偽の最適解が存在する低次元領域とは対照的に、ALSの1ループ収束が保証される。
• 数値実験により理論的発見が確認され、局所最適解の存在および結合次元の変化に伴うALSの収束行動が明確に示された。