[論文レビュー] Symmetry Breaking in Symmetric Tensor Decomposition

Yossi Arjevani, Joan Bruna+4 more|arXiv (Cornell University)|Mar 10, 2021

Tensor decomposition and applications参考文献 19被引用数 4

ひとこと要約

本稿は対称テンソル分解における対称性の破れを調査し、勾配ベースの最適化手法が、行および列の置換作用の下で非自明な安定化部分群を有する臨界点を検出することを示している。著者らは、フロベニウスノルムおよびガウスノルムの両方において観察されるこれらの対称性破れ臨界点が、群論的およびヘッシアン固有値スペクトル解析を用いて、無限個の臨界点（偽の最小値やサドル点を含む）の解析的特徴付けを可能にすることを示している。

ABSTRACT

In this note, we consider the highly nonconvex optimization problem associated with computing the rank decomposition of symmetric tensors. We formulate the invariance properties of the loss function and show that critical points detected by standard gradient based methods are \emph{symmetry breaking} with respect to the target tensor. The phenomena, seen for different choices of target tensors and norms, make possible the use of recently developed analytic and algebraic tools for studying nonconvex optimization landscapes exhibiting symmetry breaking phenomena of similar nature.

研究の動機と目的

• 対称テンソル分解における損失関数の群作用の下での不変性特性を分析すること。
• 非凸テンソル分解問題における勾配ベース最適化が検出する臨界点の幾何的構造を調査すること。
• 非自明な安定化部分群を特徴とする対称性破れが、偽の最小値および臨界点において体系的に行われることを確立すること。
• 群作用およびヘッシアン固有値スペクトルを含む、非凸最適化のより広範な理論的枠組みとこれらの現象を結びつけること。
• 対称性に基づく手法を用いて、無限個の臨界点の族を解析的に特徴付ける基盤を提供すること。

提案手法

• ランク-kの対称テンソルとランク-1テンソルの和との差のテンソルノルムを最小化する最適化問題として定式化すること。
• パラメータ $W \in M(k,d)$ を用いて、テンソルノルム $\|\cdot\|_\star$ に対する損失関数 $\mathcal{L}_\star(W)$ を定義すること。
• 臨界点 $C$ の安定化部分群である群 $(S_k \times S_d)_C$ の作用の下での $\mathcal{L}_\star$ の不変性特性を分析し、対称性破れ行動を同定すること。
• 数値実験を用いて、異なるノルム（フロベニウス、ガウス）および目的テンソル（恒等、畳み込み型）の下での臨界点の安定化部分群の検出と分類を行うこと。
• カーネル微分を用いて損失関数のヘッシアンの解析的表現を導出し、臨界点のスペクトル解析を可能にすること。
• 表現論および等変分岐理論の結果を活用して、臨界点族の構造と安定性を研究すること。

実験結果

リサーチクエスチョン

• RQ1 対称テンソル分解における勾配ベース最適化手法は、常に目的テンソルの構造の対称性を破る臨界点を一貫して生成するか？
• RQ2 目的テンソルの構造（例：恒等、巡回ラプラシアン）は、検出された臨界点の安定化部分群にどのような役割を果たすか？
• RQ3 テンソル分解における対称性破れ現象は、解析可能なヘッシアン固有値スペクトルを有する無限個の臨界点族の存在と体系的に結びつけられるか？
• RQ4 異なるテンソルノルム（フロベニウス、ガウス）は、最適化多様性における臨界点の対称性および幾何的性質にどのように影響するか？
• RQ5 臨界点の安定化部分群は、目的テンソルの内在的対称性をどの程度反映しているか？

主な発見

• フロベニウスノルム下での対称テンソル分解における偽の最小値は、常に大きな安定化部分群 $\Delta(S_9 \times S_2 \times S_1)$ および $\Delta(S_{10} \times S_1 \times S_1)$ を示し、対称性破れを示している。
• 立方ガウスノルムでは、$\Delta(S_6 \times S_2 \times S_1^2)$ および $\Delta(S_8 \times S_1^2)$ のような安定化部分群を有する偽の最小値が観察され、異なるノルムにおいても対称性破れが確認された。
• 畳み込み型目的テンソル（例：巡回ラプラシアン）の臨界点は、$\Delta(\mathbb{Z}_d)$ のような安定化部分群を示し、それらが内在する畳み込み構造を反映しており、構造的設定における対称性破れを確認している。
• 偽の最小値におけるヘッシアン固有値スペクトルは、$O(d^{-1/2})$ 項を除いてグローバル最小値と一致しており、類似した局所的安定性特性を示していることが示された。
• 数値実験により、奇数次テンソル（$n=3,5$）およびさまざまな目的テンソルタイプを含む複数回の実行および問題設定において、対称性破れが安定的であることが確認された。
• 対称性破れの存在により、後続で[8]で活用されたように、プアウゼュ級数や表現論などの高度な解析的ツールを用いて無限個の臨界点族を特徴付けることが可能になった。