[논문 리뷰] Symmetry Breaking in Symmetric Tensor Decomposition

Yossi Arjevani, Joan Bruna외 4명|arXiv (Cornell University)|2021. 03. 10.

Tensor decomposition and applications참고 문헌 19인용 수 4

한 줄 요약

이 논문은 대칭 텐서 분해에서의 대칭성 붕괴를 조사하며, 행과 열의 순열 작용 하에서 비자명한 등장 부분군을 가진 임계점들을 경사 기반 최적화 방법이 탐지함을 보여준다. 저자들은 이러한 대칭성 붕괴 임계점—프로베니우스 및 가우시안 노름에서 관찰됨—을 군 이론적 분석과 헤시안 스펙트럼 분석을 통해 무한한 임계점의 무리, 특히 허위 최소값과 안장점들을 분석 가능한 형태로 기술할 수 있음을 입증한다.

ABSTRACT

In this note, we consider the highly nonconvex optimization problem associated with computing the rank decomposition of symmetric tensors. We formulate the invariance properties of the loss function and show that critical points detected by standard gradient based methods are \emph{symmetry breaking} with respect to the target tensor. The phenomena, seen for different choices of target tensors and norms, make possible the use of recently developed analytic and algebraic tools for studying nonconvex optimization landscapes exhibiting symmetry breaking phenomena of similar nature.

연구 동기 및 목표

• 대칭 텐서 분해에서 손실 함수의 불변성 성질을 그룹 작용 하에서 분석하기 위해.
• 비볼록 텐서 분해 문제에서 경사 기반 최적화가 탐지한 임계점의 기하학적 구조를 조사하기 위해.
• 비자명한 등장 부분군을 특징으로 하는 대칭성 붕괴가 허위 최소값과 임계점에서 체계적으로 발생함을 확립하기 위해.
• 이러한 현상들이 비볼록 최적화 이론의 광범위한 프레임워크, 특히 그룹 작용과 헤시안 스펙트럼에 관여하는 이론적 틀과 연결됨을 보여주기 위해.
• 대칭 기반 방법을 사용하여 무한한 임계점 무리의 분석적 특성화를 위한 기초를 마련하기 위해.

제안 방법

• 랭크-k 대칭 텐서와 랭크-1 텐서들의 합 간의 차이의 텐서 노름을 최소화하는 최적화 문제로 공식화하기 위해.
• 손실 함수 $\mathcal{L}_\star(W)$ 를 텐서 노름 $\|\cdot\|_\star$ 에 대해 정의하며, 여기서 $W \in M(k,d)$ 는 분해를 매개변수화한다.
• 임계점 $C$ 의 등장 부분군인 $(S_k \times S_d)_C$ 의 작용 하에서 $\mathcal{L}_\star$ 의 불변성 성질을 분석하여 대칭성 붕괴 행동을 식별하기 위해.
• 수치 실험을 통해 프로베니우스 및 가우시안 노름, 그리고 목표 텐서(항등, 컨volutional)에 따라 임계점의 등장 부분군을 탐지하고 분류하기 위해.
• 핵심 도함수를 사용하여 손실 함수의 헤시안에 대한 해석적 표현을 유도하여 임계점의 스펙트럼 분석을 가능하게 하기 위해.
• 표현 이론과 등변 분기 이론의 결과를 활용하여 임계점 무리의 구조와 안정성에 대해 연구하기 위해.

실험 결과

연구 질문

• RQ1 대칭 텐서 분해에 대한 경사 기반 최적화 방법은 목표 텐서의 구조 대칭성을 깨는 임계점을 일관되게 생성하는가?
• RQ2 목표 텐서의 구조(예: 항등, 순환 라플라시안)는 탐지된 임계점의 등장 부분군에 어떤 역할을 하는가?
• RQ3 텐서 분해에서의 대칭성 붕괴 현상은 분석 가능한 헤시안 스펙트럼을 가진 무한한 임계점 무리의 존재와 체계적으로 연결될 수 있는가?
• RQ4 다른 텐서 노름(프로베니우스, 가우시안)은 최적화 지형에서 임계점의 대칭성과 기하학에 어떤 영향을 미치는가?
• RQ5 임계점의 등장 부분군은 목표 텐서의 내재된 대칭성과 어느 정도 반영되는가?

주요 결과

• 프로베니우스 노름 하에서의 대칭 텐서 분해에서의 허위 최소값은 항상 큰 등장 부분군을 보이며, 예를 들어 $\Delta(S_9 \times S_2 \times S_1)$ 와 $\Delta(S_{10} \times S_1 \times S_1)$ 를 포함하여 대칭성 붕괴를 나타낸다.
• 립스-가우시안 노름의 경우, $\Delta(S_6 \times S_2 \times S_1^2)$ 와 $\Delta(S_8 \times S_1^2)$ 와 같은 등장 부분군을 가진 허위 최소값이 관찰되어 다양한 노름에서의 대칭성 붕괴를 확인한다.
• 컨volutional 목표 텐서(예: 순환 라플라시안)에 대한 임계점은 $\Delta(\mathbb{Z}_d)$ 와 같은 등장 부분군을 보이며, 이는 기저가 되는 컨volutional 구조를 반영하고, 구조화된 설정에서의 대칭성 붕괴를 확인한다.
• 허위 최소값에서의 헤시안 스펙트럼은 $O(d^{-1/2})$ 항을 제외하고는 전역 최소값과 정확히 일치함을 발견하여 유사한 국소 안정성 특성을 시사한다.
• 수치 실험을 통해 대칭성 붕괴가 다수의 실행과 문제 설정에서 강건하게 유지됨을 확인하였으며, 이는 홀수 차수 텐서($n=3,5$)와 다양한 목표 텐서 유형에 대해서도 해당됨을 보여준다.
• 대칭성 붕괴의 존재는 푸아소르 급수와 표현 이론과 같은 고급 분석 도구를 활용하여 무한한 임계점 무리의 특성화를 가능하게 하며, 이는 이후 논문 [8] 에서 활용되었다.