[논문 리뷰] Statistical Query Lower Bounds for Tensor PCA

Rishabh Dudeja, Daniel Hsu|arXiv (Cornell University)|2020. 08. 10.

Tensor decomposition and applications참고 문헌 37인용 수 8

한 줄 요약

이 논문은 텐서 PCA에 대한 날카운 통계적 질의(SQ) 하한을 확립하여, $k>2$인 경우, 다항 시간 질의 복잡도를 가진 SQ 알고리즘은 추측되는 어려운 단계에서 정보 이론적으로 최적의 표본 복잡도를 달성할 수 없음을 보여준다. 이는 신호 텐서가 대칭인가 여부에 따라 최적의 SQ 표본 복잡도가 달라지며, 비례적으로 다항 질의로 신호 존재 여부를 테스트할 수는 있지만 추정은 불가능한 영역을 규명한다.

ABSTRACT

In the Tensor PCA problem introduced by Richard and Montanari (2014), one is given a dataset consisting of $n$ samples $\mathbf{T}_{1:n}$ of i.i.d. Gaussian tensors of order $k$ with the promise that $\mathbb{E}\mathbf{T}_1$ is a rank-1 tensor and $\|\mathbb{E} \mathbf{T}_1\| = 1$. The goal is to estimate $\mathbb{E} \mathbf{T}_1$. This problem exhibits a large conjectured hard phase when $k>2$: When $d \lesssim n \ll d^{\frac{k}{2}}$ it is information theoretically possible to estimate $\mathbb{E} \mathbf{T}_1$, but no polynomial time estimator is known. We provide a sharp analysis of the optimal sample complexity in the Statistical Query (SQ) model and show that SQ algorithms with polynomial query complexity not only fail to solve Tensor PCA in the conjectured hard phase, but also have a strictly sub-optimal sample complexity compared to some polynomial time estimators such as the Richard-Montanari spectral estimator. Our analysis reveals that the optimal sample complexity in the SQ model depends on whether $\mathbb{E} \mathbf{T}_1$ is symmetric or not. For symmetric, even order tensors, we also isolate a sample size regime in which it is possible to test if $\mathbb{E} \mathbf{T}_1 = \mathbf{0}$ or $\mathbb{E}\mathbf{T}_1 eq \mathbf{0}$ with polynomially many queries but not estimate $\mathbb{E}\mathbf{T}_1$. Our proofs rely on the Fourier analytic approach of Feldman, Perkins and Vempala (2018) to prove sharp SQ lower bounds.

연구 동기 및 목표

• 텐서 PCA에 대해 날카운 통계적 질의(SQ) 하한을 확립하는 것, 특히 $n \ll d^{k/2}$인 추측되는 어려운 단계에서의 경우에 중점을 두는 것.
• 정보 이론적으로 최적의 표본 복잡도를 달성할 수 있는지 여부를 분석하는 것, 즉 텐서 PCA 모델에서 랭크-1 신호 텐서를 추정하는 데에 SQ 알고리즘이 성능을 내는지 여부.
• SQ 복잡도가 텐서의 대칭성과 차수 $k$에 따라 어떻게 달라지는지 분석하는 것, 특히 짝수 차수의 대칭 텐서의 경우에 중점을 두는 것.
• 신호 존재 여부 테스트($\mathbb{E}\bm{T}_1 \neq \bm{0}$)는 다항 질의로 가능하지만, 신호 텐서 추정은 불가능한 영역을 분리하는 것.
• SQ 알고리즘이 알려진 다항 시간 추정기인 Richard-Montanari 스펙트럼 방법보다 엄격히 열등함을 보여주는 것.

제안 방법

• Feldman 등 [18]의 푸리에 해석 프레임워크를 적응하여 텐서 PCA에 대한 날카운 SQ 하한을 유도하는 것.
• 불리안 함수의 고차수 푸리에 계수의 영향을 제어하기 위해 $\mathsf{SMOOTH}_{\lambda}[\cdot]$ 연산자를 사용하는 것.
• $(2,q)$-초수축성 정리를 적용하여, 스무스 함수의 $L_q$ 노름을 그 $L_2$ 노름으로 bound하는 것.
• 정규분포 공간에서 또는thonormal 다변수 헤르미트 다항식을 사용하여 $\mathcal{L}_2(\mathcal{N}(\bm{0},\bm{I}_d))$ 내의 함수를 표현하고 분해하는 것.
• 항등식 $\mathbb{E}[H_{\bm{c}}(\bm{\mu} + \bm{Z})] = \bm{\mu}^{\bm{c}} / \sqrt{\bm{c}!}$를 활용하여 헤르미트 계수와 신호 텐서의 모멘트를 연결하는 것.
• 알고리즘이 데이터에 접근할 수 있는 것은 통계적 질의를 통해 통계량의 기댓값에 대한 노이즈 있는 추정치뿐이라는 통계적 질의 모델을 구축하는 것, 이는 제한된 정보 접근을 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 SQ 알고리즘이 $k > 2$일 때, 텐서 PCA에서 정보 이론적으로 최적의 표본 복잡도를 달성할 수 있는가?
• RQ2 신호 텐서의 대칭성이 SQ 모델에서 최적의 표본 복잡도에 어떤 영향을 미치는가?
• RQ3 신호 존재 여부 테스트($\mathbb{E}\bm{T}_1 \neq \bm{0}$)는 다항 시간 질의로 가능하지만, 신호 텐서 추정은 불가능한 영역이 존재하는가?
• RQ4 짝수 차수의 대칭 텐서 PCA에 대해 SQ 모델에서의 표본 복잡도 정확한 임계값은 무엇인가?
• RQ5 SQ 하한은 알려진 다항 시간 추정기인 Richard-Montanari 스펙트럼 방법과 비교해 볼 때 어떻게 다른가?

주요 결과

• 일반적인 $k>2$에 대해, 다항 시간 질의 복잡도를 가진 SQ 알고리즘은 추측되는 어려운 단계 $d \lesssim n \ll d^{k/2}$에서 텐서 PCA를 해결할 수 없다.
• SQ 모델에서 최적의 표본 복잡도는 신호 텐서가 대칭인가 여부에 따라 달라지며, 대칭 텐서는 비대칭 텐서보다 엄격히 낮은 임계값을 가진다.
• 대칭이고 짝수 차수인 텐서의 경우, $\mathbb{E}\bm{T}_1 = \bm{0}$ 대비 $\mathbb{E}\bm{T}_1 \neq \bm{0}$를 다항 질의로 테스트할 수는 있지만, $\mathbb{E}\bm{T}_1$의 추정은 불가능한 영역이 존재한다.
• SQ 모델의 최적 표본 복잡도는 Richard-Montanari 스펙트럼 추정기와 비교해 엄격히 열등하며, 이는 $n \gtrsim d^{k/2}$ 수준의 성능을 달성한다.
• 논문은 텐서 PCA에 대해 추측되는 계산적 임계값과 정확히 일치하는 날카운 SQ 하한을 확립하여 문제의 어려움에 대한 증거를 제공한다.
• 헤르미트 다항식 전개와 초수축성의 활용은 SQ 프레임워크 내에서 노이즈와 신호 성분을 정밀하게 제어할 수 있게 하여 날카운 하한을 이끌어낸다.