[論文レビュー] When Does Non-Orthogonal Tensor Decomposition Have No Spurious Local Minima?

Maziar Sanjabi, Sina Baharlouei+2 more|arXiv (Cornell University)|Nov 22, 2019

Tensor decomposition and applications参考文献 17被引用数 8

ひとこと要約

本稿は、非直交な4階テンソル分解において偽の局所的最小値が存在しない条件を確立し、条件数 $\kappa = \lambda_{\text{max}}/\lambda_{\text{min}} < 5/4$ かつ非一様性が $\mathcal{O}(1/\sqrt{d})$ のとき、すべての局所的最小値が大域的最適であることを証明する。さらに、再起動を伴う定型テンソルパワー法が、$\mathcal{O}(\kappa\sqrt{k\tau^3})$ のノイズフロア内ですべての成分を回復できることを示し、やや強い非直交性のもとでも大域的収束を実現可能であることを示している。

ABSTRACT

We study the optimization problem for decomposing $d$ dimensional fourth-order Tensors with $k$ non-orthogonal components. We derive extit{deterministic} conditions under which such a problem does not have spurious local minima. In particular, we show that if $κ= \frac{λ_{max}}{λ_{min}} &lt; \frac{5}{4}$, and incoherence coefficient is of the order $O(\frac{1}{\sqrt{d}})$, then all the local minima are globally optimal. Using standard techniques, these conditions could be easily transformed into conditions that would hold with high probability in high dimensions when the components are generated randomly. Finally, we prove that the tensor power method with deflation and restarts could efficiently extract all the components within a tolerance level $O(κ\sqrt{kτ^3})$ that seems to be the noise floor of non-orthogonal tensor decomposition.

研究の動機と目的

• 非直交テンソル分解が偽の局所的最小値をもたないような決定的条件を同定すること。
• 特に過剰な状況下における非直交CP分解の最適化の地形を分析すること。
• すべての成分を回復するための、定型化と再起動を伴う修正されたテンソルパワー法のグローバル収束保証を確立すること。
• 現実的な仮定のもとでの非直交テンソル分解のノイズフロアを定量すること。

提案手法

• 多様体上の2次最適性条件を導出し、曲率解析を用いて偽の局所的最小値を除外する。
• 4階テンソルの成分を段階的に抽出するために、定型化と再起動戦略を導入する。
• 非一様性の境界と条件数 $\kappa = \lambda_{\text{max}}/\lambda_{\text{min}}$ を、地形幾何の制御に重要なパラメータとして用いる。
• 摂動理論と行列集中を適用し、推定成分が真のベクトルからどれほどずれるかの偏差を束縛する。
• ターゲット成分の直交補空間への射影を用いた局所的最小値の特徴付けを採用する。
• 決定的条件を、高次元におけるランダムな成分生成のもとで高確率的結果に変換する。

実験結果

リサーチクエスチョン

• RQ1 条件数 $\kappa$ と非一様性に関して、非直交テンソル分解が偽の局所的最小値をもたない条件は何か？
• RQ2 再起動を伴う定型テンソルパワー法は、やや強い非直交性のもとでも4階テンソルのすべての成分を大域的に回復できるか？
• RQ3 非直交成分が存在する状況下で、このような手法の達成可能な精度（ノイズフロア）は何か？
• RQ4 テンソルのスペクトル的性質と成分の非一様性は、最適化の地形にどのように影響するか？
• RQ5 グローバル最適解の近傍への初期化を必要としない第一階の最適化手法のグローバル収束を保証できるか？

主な発見

• 条件数 $\kappa < 5/4$ かつ非一様性が $\mathcal{O}(1/\sqrt{d})$ のとき、非直交テンソル分解問題のすべての局所的最小値が大域的最適である。
• 定型化と再起動を伴うテンソルパワー法は、$\mathcal{O}(\kappa\sqrt{k\tau^3})$ のノイズフロア内での回復を達成し、これは非直交分解の根本的限界である。
• $k\tau \leq 0.05$ かつ $\kappa \leq 5/4$ のとき、任意の局所的最小解 $w$ に対して、ある成分 $u_i$ について $\|w - u_i\| \leq \mathcal{O}(\kappa\sqrt{k}\tau^3)$ が成り立つ。これは高精度な回復を示している。
• 解析により、提示された条件下では偽の局所的最小値が存在しないことは決定論的に成立し、成分がランダムな場合、高次元では高確率でこの条件が満たされる。
• $k = \mathcal{O}(d^{0.5})$ の範囲でグローバル収束が達成され、従来の $k = \mathcal{O}(d^{0.25})$ の結果を超えて範囲を拡大している。
• 曲率に基づく証明技法により、任意の局所的最小解におけるヘッセ行列が半正定値であることが示され、提示された境界のもとでは偽の最小値の存在が矛盾することを示している。