[논문 리뷰] Tensor principal component analysis via sum-of-squares proofs

Samuel B. Hopkins, Jonathan Shi외 1명|arXiv (Cornell University)|2015. 07. 12.

Sparse and Compressive Sensing Techniques참고 문헌 4인용 수 50

한 줄 요약

이 논문은 신호 대 잡음비 τ ≥ ω(n³⁴ log(n)¹⁴)일 때 노이즈가 있는 입력에서 심플한 랭크-1 텐서를 복원하는 합의 제곱(소스) 방법을 제안한다. 이는 이전 알고리즘들이 요구하는 τ ≥ Ω(n)보다 향상된 성능을 보이며, 복원 및 증명 가능성을 높은 확률로 달성하기 위해 4차 SoS 완화를 사용한다. 또한 이중 힘의 반복을 통해 거의 선형 시간 복잡도를 갖는 변형도 제공한다.

ABSTRACT

We study a statistical model for the tensor principal component analysis problem introduced by Montanari and Richard: Given a order-$3$ tensor $T$ of the form $T = τ\cdot v_0^{\otimes 3} + A$, where $τ\geq 0$ is a signal-to-noise ratio, $v_0$ is a unit vector, and $A$ is a random noise tensor, the goal is to recover the planted vector $v_0$. For the case that $A$ has iid standard Gaussian entries, we give an efficient algorithm to recover $v_0$ whenever $τ\geq ω(n^{3/4} \log(n)^{1/4})$, and certify that the recovered vector is close to a maximum likelihood estimator, all with high probability over the random choice of $A$. The previous best algorithms with provable guarantees required $τ\geq Ω(n)$. In the regime $τ\leq o(n)$, natural tensor-unfolding-based spectral relaxations for the underlying optimization problem break down (in the sense that their integrality gap is large). To go beyond this barrier, we use convex relaxations based on the sum-of-squares method. Our recovery algorithm proceeds by rounding a degree-$4$ sum-of-squares relaxations of the maximum-likelihood-estimation problem for the statistical model. To complement our algorithmic results, we show that degree-$4$ sum-of-squares relaxations break down for $τ\leq O(n^{3/4}/\log(n)^{1/4})$, which demonstrates that improving our current guarantees (by more than logarithmic factors) would require new techniques or might even be intractable. Finally, we show how to exploit additional problem structure in order to solve our sum-of-squares relaxations, up to some approximation, very efficiently. Our fastest algorithm runs in nearly-linear time using shifted (matrix) power iteration and has similar guarantees as above. The analysis of this algorithm also confirms a variant of a conjecture of Montanari and Richard about singular vectors of tensor unfoldings.

연구 동기 및 목표

• 노이즈가 있는 3차 텐서에서 심플한 랭크-1 텐서를 효율적으로 복원하기 위한 알고리즘을 개발하여, 이전의 신호 대 잡음비(τ) 요구 조건을 향상시키는 것.
• 낮은 신호 영역에서 기존의 스펙트럼 및 텐서 편개 방법의 한계를 분석하여, 이들이 큰 정수성 간극으로 인해 실패하는 이유를 밝혀내는 것.
• 통계적 텐서 모델에서의 고차원 모멘트 구조를 활용하여 합의 제곱 방법이 이러한 장벽을 극복할 수 있음을 보여주는 것.
• 이동된 거듭제곱 반복을 사용하여 SoS 완화를 근사화함으로써 TPCA에 대해 거의 선형 시간 알고리즘을 제공하는 것.
• 4차 SoS에 대해 거의 매칭되는 하한을 확립하여, 로그 인자 이외의 향상은 새로운 기법이 필요함을 보여주는 것.

제안 방법

• 단위 구면 위에서 동차 3차 다항식에 대한 최대우도추정(MLE) 문제로 텐서 PCA 문제를 공식화한다.
• MLE 문제에 4차 합의 제곱(소스) 완화를 적용하여, 이를 볼록 준선형계획문제로 변환한다.
• 가짜 분포와 모멘트 행렬을 사용하여 SoS 완화를 표현하고 해결함으로써 노이즈 하에서 강건한 복원을 가능하게 한다.
• |β| = 1 인 y_β = x^β의 변수 치환을 통해 4차 SoS 완화를 텐서 편개를 통해 행렬 고유값 문제로 감소시킨다.
• 이동된 행렬 거듭제곱 반복을 사용하여 SoS 해를 근사화함으로써 거의 선형 시간 알고리즘을 설계하고, 복원 보장을 유지한다.
• 집중 경계와 가짜 분포 성질을 적용하여, 높은 확률로 복원된 벡터 v가 MLE에 가까운지 확인한다.

실험 결과

연구 질문

• RQ1 합의 제곱 방법은 기존의 스펙트럼 및 편개 기반 알고리즘보다 텐서 PCA에 대해 더 나은 신호 대 잡음비 보장을 달성할 수 있는가?
• RQ2 표준 텐서 편개 방법이 τ = O(n) 이하에서 작동하지 못하는 계산적 장벽은 무엇인가?
• RQ3 4차 합의 제곱 완화는 강력한 복원 보장을 유지하면서 효율적으로 해결될 수 있는가?
• RQ4 SoS 기반 방법을 사용하여 텐서 PCA에 대해 거의 선형 시간 복원을 달성할 수 있는가?
• RQ5 이 문제에 대해 4차 SoS의 한계는 무엇이며, 하한은 로그 인자 이외의 향상 가능성을 배제할 수 있는가?

주요 결과

• 제안된 SoS 기반 알고리즘은 τ ≥ ω(n³⁴ log(n)¹⁴)일 때 심플한 벡터 v₀와의 내적 〈v₀, v〉 ≥ 1 − ε를 확보하며, 이는 이전의 τ ≥ Ω(n) 요구 조건보다 향상된 성능이다.
• 알고리즘은 복원된 벡터 v가 최대우도추정기와 가까운지 확인하며, 높은 확률로 T(x) ≤ τ·〈v, x〉³ + O(n³⁴ log(n)¹⁴)를 만족한다.
• 이동된 거듭제곱 반복을 사용하여 거의 선형 시간 변형 알고리즘을 개발하였으며, 동일한 복원 보장을 갖추고 Õ(n³) 실행 시간을 달성한다.
• 4차 SoS 완화는 τ ≤ O(n³⁴ / log(n)¹⁴)일 때 붕괴함을 입증하여, 현재 SoS 기법으로는 로그 인자 이외의 개선이 불가능함을 보여준다.
• Montanari와 Richard의 추측의 변종을 확인하여, 비대칭 노이즈 하에서 τ ≥ ω(n³⁴ log(n)¹⁴)일 때 이러한 알고리즘이 성공함을 보여준다.
• 일반적인 홀수 k에 대해, 이 방법은 τ ≥ ω(nᵏ⁴ log(n)¹⁴)일 때 〈v₀, v〉 ≥ 1 − ε를 확보하며, 짝수 k에 대해서는 거의 선형 시간 내에 〈v₀, v〉² ≥ 1 − ε를 복원한다.