[논문 리뷰] When Does Non-Orthogonal Tensor Decomposition Have No Spurious Local Minima?

Maziar Sanjabi, Sina Baharlouei외 2명|arXiv (Cornell University)|2019. 11. 22.

Tensor decomposition and applications참고 문헌 17인용 수 8

한 줄 요약

이 논문은 비직교 제4차 텐서 분해에서 허위 국소 최솟값이 존재하지 않는 조건을 규명한다. 조건수 $\kappa = \lambda_{ ext{max}}/\lambda_{ ext{min}} < 5/4$ 이고 비일관성(incoherence)이 $\mathcal{O}(1/\sqrt{d})$일 때, 모든 국소 최솟값이 전역 최솟값임을 증명한다. 또한, 재시작을 포함한 탈중화 텐서 힘법이 노이즈 한계 $\mathcal{O}(\kappa\sqrt{k\tau^3})$ 내에서 모든 성분을 회복할 수 있음을 보이며, 약간의 비직교성 조건 하에서도 전역 수렴을 보장한다.

ABSTRACT

We study the optimization problem for decomposing $d$ dimensional fourth-order Tensors with $k$ non-orthogonal components. We derive extit{deterministic} conditions under which such a problem does not have spurious local minima. In particular, we show that if $κ= \frac{λ_{max}}{λ_{min}} &lt; \frac{5}{4}$, and incoherence coefficient is of the order $O(\frac{1}{\sqrt{d}})$, then all the local minima are globally optimal. Using standard techniques, these conditions could be easily transformed into conditions that would hold with high probability in high dimensions when the components are generated randomly. Finally, we prove that the tensor power method with deflation and restarts could efficiently extract all the components within a tolerance level $O(κ\sqrt{kτ^3})$ that seems to be the noise floor of non-orthogonal tensor decomposition.

연구 동기 및 목표

• 비직교 제4차 텐서 분해에서 허위 국소 최솟값이 존재하지 않는 결정론적 조건을 규명하는 것.
• 특히 과다완성 영역에서 비직교 CP 분해의 최적화 지형을 분석하는 것.
• 모든 성분을 회복하는 데 있어 탈중화 및 재시작을 적용한 수정된 텐서 힘법에 대해 전역 수렴 보장을 수립하는 것.
• 현실적인 가정 하에서 비직교 텐서 분해의 노이즈 한계를 정량화하는 것.

제안 방법

• 다양체 위에서 이차 최적성 조건을 유도하여 곡률 분석을 통해 허위 국소 최솟값을 배제한다.
• 제4차 텐서의 성분을 반복적으로 추출하기 위해 탈중화 및 재시작 전략을 도입한다.
• 지형 기하학을 제어하기 위해 비일관성 범위와 조건수 $\kappa = \lambda_{\text{max}}/\lambda_{\text{min}}$ 를 핵심 매개변수로 사용한다.
• 편미분 이론과 행렬 농도 이론을 적용하여 성분 추정치가 진짜 벡터에서 벗어나지 않는 범위를 제한한다.
• 대상 성분의 옆공간에 투영함으로써 국소 최솟값을 특성화한다.
• 결정론적 조건을 고차원에서 랜덤 성분 생성 조건 하에서 높은 확률로 성립하는 결과로 변환한다.

실험 결과

연구 질문

• RQ1 조건수 $\kappa$ 와 비일관성에 대해 어떤 조건에서 비직교 텐서 분해에서 허위 국소 최솟값이 존재하지 않는가?
• RQ2 약간의 비직교성 조건 하에서 재시작을 포함한 탈중화 텐서 힘법이 제4차 텐서의 모든 성분을 전역적으로 회복할 수 있는가?
• RQ3 비직교 성분이 존재할 경우 이러한 방법의 달성 가능한 정확도(노이즈 한계)는 무엇인가?
• RQ4 텐서의 스펙트럼 성질과 성분의 비일관성은 최적화 지형에 어떻게 영향을 미치는가?
• RQ5 전역 최적해 근처 초기화가 필요 없이 일阶 최적화 방법의 전역 수렴을 보장할 수 있는가?

주요 결과

• 조건수 $\kappa < 5/4$ 이고 비일관성이 $\mathcal{O}(1/\sqrt{d})$ 이면, 비직교 텐서 분해 문제의 모든 국소 최솟값이 전역 최솟값임을 보장한다.
• 탈중화 및 재시작을 포함한 텐서 힘법은 노이즈 한계 $\mathcal{O}(\kappa\sqrt{k\tau^3})$ 내에서 회복을 달성하며, 이는 비직교 분해의 기본 한계이다.
• 만약 $k\tau \leq 0.05$ 이고 $\kappa \leq 5/4$ 이면, 임의의 국소 최소화자 $w$ 는 어떤 성분 $u_i$ 에 대해 $\|w - u_i\| \leq \mathcal{O}(\kappa\sqrt{k}\tau^3)$ 를 만족하므로 고정밀도 회복이 가능하다.
• 분석 결과, 제시된 조건 하에서 허위 국소 최솟값이 존재하지 않는 것은 결정론적으로 성립하며, 고차원에서 성분이 랜덤일 경우 이 조건은 높은 확률로 만족된다.
• 성분 수 $k = \mathcal{O}(d^{0.5})$ 에서도 전역 수렴을 달성하여 이전 결과에서 요구하던 $k = \mathcal{O}(d^{0.25})$ 의 범위를 초월한다.
• 곡률 기반 증명 기법을 통해 임의의 국소 최소화자에서 헤시안 행렬이 양의 준정적임을 보여, 제시된 범위 내에서는 허위 최솟값이 존재하지 않음을 모순시킨다.