[논문 리뷰] Fast spectral algorithms from sum-of-squares proofs: tensor decomposition and planted sparse vectors

Samuel B. Hopkins, Tselil Schramm외 2명|arXiv (Cornell University)|2015. 12. 08.

Sparse and Compressive Sensing Techniques참고 문헌 39인용 수 6

한 줄 요약

이 논문은 두 가지 기계학습 문제인 무작위 부분공간 내에 심플된 희소 벡터 복원 및 초과기저 3차 텐서 분해를 위한, 합의 제곱(SoS) 증명에 영감을 받은 빠른 스펙트럼 알고리즘을 소개한다. 부분 추적 연산과 스펙트럼 방법을 활용함으로써, degree $d$에 대해 $n^{O(d)}$로 증가하는 전통적 SoS 방법보다 훨씬 빠른 거의 선형 시간 내에 SoS 수준의 보장을 달성한다. 주요 기여는 고차수 SoS 완화에 비해 실용적이고 확장 가능한 대안을 제공함으로써, 유사하거나 향상된 통계 성능을 달성한다.

ABSTRACT

We consider two problems that arise in machine learning applications: the problem of recovering a planted sparse vector in a random linear subspace and the problem of decomposing a random low-rank overcomplete 3-tensor. For both problems, the best known guarantees are based on the sum-of-squares method. We develop new algorithms inspired by analyses of the sum-of-squares method. Our algorithms achieve the same or similar guarantees as sum-of-squares for these problems but the running time is significantly faster. For the planted sparse vector problem, we give an algorithm with running time nearly linear in the input size that approximately recovers a planted sparse vector with up to constant relative sparsity in a random subspace of $\mathbb R^n$ of dimension up to $ ilde Ω(\sqrt n)$. These recovery guarantees match the best known ones of Barak, Kelner, and Steurer (STOC 2014) up to logarithmic factors. For tensor decomposition, we give an algorithm with running time close to linear in the input size (with exponent $\approx 1.086$) that approximately recovers a component of a random 3-tensor over $\mathbb R^n$ of rank up to $ ilde Ω(n^{4/3})$. The best previous algorithm for this problem due to Ge and Ma (RANDOM 2015) works up to rank $ ilde Ω(n^{3/2})$ but requires quasipolynomial time.

연구 동기 및 목표

• 무작위 선형 부분공간 내에 심플된 희소 벡터를 복원하기 위한 더 빠른 알고리즘을 개발하여, 합의 제곱(SoS) 방법에서 얻은 최고의 보장을 따라하거나 뛰어넘는다.
• 초과기저 3차 텐서 분해를 위한 효율적인 스펙트럼 알고리즘을 설계하여, SoS 수준의 성능을 달성하면서 거의 선형 시간 내에 작동시킨다.
• 반정형계획법의 금방 뛰어나게 증가하는 $n^{O(d)}$ 실행시간을 피하면서도, 고차수 SoS 정보를 스펙트럼 방법을 통해 활용할 수 있는지 입증한다.
• 대규모 기계학습 문제를 위한 SoS 기반 알고리즘에 대한 실용적이고 확장 가능한 대안을 제공한다.

제안 방법

• 심플된 희소 벡터 문제를 위한 알고리즘은 입력 부분공간에서 유도된 변환 기저 위에서 스펙트럼 방법을 사용하며, 측도 집중을 활용하여 복원을 보장한다.
• 텐서 분해의 경우, 텐서의 첫 번째 모드 슬라이스의 부분 추적을 계산하여, 그 상위 고유벡터가 진짜 성분을 근사하는 행렬을 형성한다.
• 핵심 기법은 소음 항의 스펙트럼 노름을 분석함으로써, 낮은 질서 가정 하에 신호의 지배성을 보장하는 행렬 농도 부등식을 사용하는 것이다.
• 텐서 PCA를 위한 알고리즘은 부분 추적 행렬에 대해 선형 시간 스펙트럼 방법을 적용하며, 이는 추적 가중치가 부여된 텐서 슬라이스의 합으로 구성된다.
• 핵심 혁신은 전체 텐서 처리를 피하고 효율적으로 신호 정보를 추출하기 위해 부분 추적 연산을 사용하는 것이다.
• 런타임 최적화는 텐서 요소를 스트리밍 방식으로 처리함으로써 이루어지며, 동시에 저장되는 중간 값이 $O(n^2)$로 제한된다.

실험 결과

연구 질문

• RQ1 스펙트럼 알고리즘이 심플된 희소 벡터 복원 문제에서 합의 제곱(SoS) 방법과 동일한 통계 보장을 거의 선형 시간 내에 달성할 수 있는가?
• RQ2 초과기저 3차 텐서 분해를 위한 빠른 스펙트럼 알고리즘을 설계할 수 있으며, 이는 SoS 기반 방법의 랭크 및 신호 대 잡음 비율 임계값을 따라하거나 뛰어넘을 수 있는가?
• RQ3 비싼 반정형계획법을 풀지 않고도 스펙트럼 방법을 통해 고차수 SoS 정보를 추출할 수 있는가?
• RQ4 스피iked 텐서 PCA 모델에서 복원에 필요한 최소 신호 강도는 얼마이며, 이는 이차 또는 선형 시간 알고리즘으로 달성 가능한가?

주요 결과

• 심플된 희소 벡터 알고리즘은 거의 선형 시간 내에 차원이 $\tilde{\Omega}(\sqrt{n})$ 이하인 무작위 부분공간 내에서 상수 상대 희소성의 벡터를 복원한다.
• 텐서 분해 알고리즘은 거의 선형 시간 내에 랭크가 $\tilde{\Omega}(n^{4/3})$ 이하인 3차 텐서의 성분을 복원하며, 지수는 약 1.086이다.
• 텐서 PCA의 경우, $\tau = \Omega(n^{3/4} \sqrt{\log n / \varepsilon})$ 일 때 $\langle v, v' \rangle \geq 1 - O(\varepsilon)$ 를 달성하여 SoS 보장을 그대로 따르며 성능을 보인다.
• 부분 추적 행렬의 스펙트럼 갭 비율은 $\Omega(1/\varepsilon)$ 이며, 이는 행렬 거듭제곱 방법의 수렴을 $O(\log(n/\varepsilon))$ 반복 내에 가능하게 한다.
• 알고리즘은 선형 시간 내에 작동하며, 선형 이하의 공간 복잡도를 가지며, 단일 패assing으로 텐서를 처리하며, 최대 $O(n^2)$ 메모리만을 사용한다.
• 부분 추적 접근법을 통해 분석을 단순화하면서도, 이전 작업 대비 런타임을 $\log n$ 요소만큼 감소시켜 성능을 향상시켰다.