[논문 리뷰] Decomposing Overcomplete 3rd Order Tensors using Sum-of-Squares Algorithms

Rong Ge, Tengyu Ma|arXiv (Cornell University)|2015. 04. 21.

Tensor decomposition and applications참고 문헌 25인용 수 33

한 줄 요약

이 논문은 랭크가 $ n^{3/2}/\operatorname{poly}\log n $ 이하일 때, 초과된 3차 텐서를 분해하기 위한 최초의 준다항시간 알고리즘을 제시한다. 이는 합의 제곱(SoS) 준정적계획법을 사용하여 단사 노름을 증명하고, 의사기대값을 통해 텐서 성분을 복원한다. 방법은 분리 기법과 행렬 농도 경계를 활용하여, 기존의 전개 기반 방법이 실패하는 초과 랭크 영역에서 초선형 랭크를 다룰 수 있다.

ABSTRACT

Tensor rank and low-rank tensor decompositions have many applications in learning and complexity theory. Most known algorithms use unfoldings of tensors and can only handle rank up to $n^{\lfloor p/2 floor}$ for a $p$-th order tensor in $\mathbb{R}^{n^p}$. Previously no efficient algorithm can decompose 3rd order tensors when the rank is super-linear in the dimension. Using ideas from sum-of-squares hierarchy, we give the first quasi-polynomial time algorithm that can decompose a random 3rd order tensor decomposition when the rank is as large as $n^{3/2}/ extrm{polylog} n$. We also give a polynomial time algorithm for certifying the injective norm of random low rank tensors. Our tensor decomposition algorithm exploits the relationship between injective norm and the tensor components. The proof relies on interesting tools for decoupling random variables to prove better matrix concentration bounds, which can be useful in other settings.

연구 동기 및 목표

• 랭크가 차원을 초과할 때(초과된 경우) 3차 텐서를 효율적으로 분해하는 알고리즘을 개발하는 것, 이는 이전 방법이 실패하는 영역이다.
• 기존의 행렬 전개 기법의 한계를 극복하고, 합의 제곱(DoS) 계층을 초과된 3차 텐서 분해에까지 확장하는 것.
• 랜덤 낮은 랭크 텐서의 단사 노름을 다항시간 내에 증명하여, 강건한 성분 복원을 가능하게 하는 것.
• SoS를 잠재 변수 모델 학습에서의 초기화 도구로 사용하는 데 이르는 이론적 기반을 제공하는 것.

제안 방법

• 합의 제곱(SoS) 준정적계획법을 사용하여, 텐서의 고차원 모멘트를 반영하는 차수-$k$ 의사기대값을 구성한다.
• 개선된 행렬 농도 경계를 도출하기 위해 분리 기법을 적용하여, 랜덤 텐서 성분 분석에 핵심적인 역할을 한다.
• 코시-슈바르츠 및 헬더 부등식을 적용하여, 내적 $\langle a_i, x\rangle^d$ 의 거듭제곱을 $d=3$ 에서 $d=k=O(\log n)$ 으로 상승시켜 평균화 기법을 가능하게 한다.
• 탐욕적 복원 루프를 구현: SoS로 증명된 의사기대값을 사용해 $T(c,c,c)$ 값이 높은 단위 벡터 $c$ 를 반복적으로 찾는다.
• 이미 찾은 성분 $s$ 를 제외하기 위해 제약 조건 집합 $\{\langle s,x\rangle^2 \leq 1/8\}$ 을 사용하여, 서로 다른 성분의 복원을 보장한다.
• 논문 [BKS15]의 정리 5.2 를 활용하여, $\widetilde{\mathbb{E}}[\langle a_i,x\rangle^k] \geq e^{-\epsilon k}$ 를 만족할 경우, 벡터 $c$ 가 진짜 성분 $a_i$ 에 대해 $O(\epsilon)$-근접하게 추출할 수 있음을 보장한다.

실험 결과

연구 질문

• RQ1 랭크 $m$ 이 차원 $n$ 을 초과할 때, 초과된 3차 텐서 분해는 효율적으로 해결될 수 있는가?
• RQ2 합의 제곱 계층이 랜덤 낮은 랭크 텐서의 단사 노름을 증명하는 데 사용될 수 있는가?
• RQ3 SoS 기반 방법을 통해 $p=3$ 인 경우, $n^{\lfloor p/2\rfloor}$ 랭크 한계를 초월해 성분을 복원할 수 있는가?
• RQ4 분리 기법이 랜덤 텐서 분석을 위한 행렬 농도 경계를 향상시킬 수 있는가?
• RQ5 SoS 기반 알고리즘이 잠재 변수 모델 학습에서 효과적인 초기화 도구로 기능할 수 있는가?

주요 결과

• 논문은 랭크가 $m = n^{3/2}/\operatorname{poly}\log n$ 일 때, 3차 텐서 분해에 대해 준다항시간 알고리즘을 제시하며, $p=3$ 인 경우 $n^{\lfloor p/2\rfloor}$ 장벽을 돌파한다.
• 랜덤 낮은 랭크 텐서의 단사 노름을 다항시간 내에 증명하는 알고리즘을 제시하여, 성분 복원에 핵심적인 역할을 한다.
• 의사기대값이 $\widetilde{\mathbb{E}}[\langle a_i,x\rangle^k] \geq e^{-\epsilon k}$ 를 만족할 경우, $k = O((\log n)/\epsilon)$ 일 때 성분을 $\|c - a_i\| \leq 0.1$ 이내로 복원할 수 있다.
• 알고리즘은 랜덤 텐서 모델에 대해 고려할 만한 확률로 $n^{O(k)}$ 반복을 사용하여 모든 $m$ 개의 성분을 복원한다.
• 이론적 보장은 랜덤 변수의 분리와 기존 방법보다 더 날카로운 행렬 농도 경계 증명에 기반한다.
• 이 방법은 $m \ll n^{3/2}$ 인 경우에도 성분을 복원할 수 있으며, 짝수 차수 텐서의 경우 알려진 $n^{p/2}$ 경계와 일치한다.