[논문 리뷰] Subexponential-Time Algorithms for Sparse PCA

Yunzi Ding, Dmitriy Kunisky외 2명|arXiv (Cornell University)|2019. 07. 26.

Random Matrices and Applications참고 문헌 77인용 수 21

한 줄 요약

이 논문은 스파iked 와이거 모델과 위샤르트 모델에서 희소 주성분 분석(sparse PCA)에 대한 초지수적 시간 알고리즘을 제안하며, 다항식 시간의 대각선 임계처리와 지수적 시간의 전수 탐색 사이를 조율함으로써 희소성과 런타임 사이의 매끄러운 트레이드오프를 달성한다. 1/√n ≪ ρ ≪ 1일 때 복구가 exp(ρ²n)의 시간 안에 가능함을 보이며, 저차수 우도 비율 분석을 통해 이러한 트레이드오프가 계산적으로 최적임을 엄밀한 증거로 제시한다.

ABSTRACT

We study the computational cost of recovering a unit-norm sparse principal component $x \in \mathbb{R}^n$ planted in a random matrix, in either the Wigner or Wishart spiked model (observing either $W + λxx^ op$ with $W$ drawn from the Gaussian orthogonal ensemble, or $N$ independent samples from $\mathcal{N}(0, I_n + βxx^ op)$, respectively). Prior work has shown that when the signal-to-noise ratio ($λ$ or $β\sqrt{N/n}$, respectively) is a small constant and the fraction of nonzero entries in the planted vector is $\|x\|_0 / n = ρ$, it is possible to recover $x$ in polynomial time if $ρ\lesssim 1/\sqrt{n}$. While it is possible to recover $x$ in exponential time under the weaker condition $ρ\ll 1$, it is believed that polynomial-time recovery is impossible unless $ρ\lesssim 1/\sqrt{n}$. We investigate the precise amount of time required for recovery in the "possible but hard" regime $1/\sqrt{n} \ll ρ\ll 1$ by exploring the power of subexponential-time algorithms, i.e., algorithms running in time $\exp(n^δ)$ for some constant $δ\in (0,1)$. For any $1/\sqrt{n} \ll ρ\ll 1$, we give a recovery algorithm with runtime roughly $\exp(ρ^2 n)$, demonstrating a smooth tradeoff between sparsity and runtime. Our family of algorithms interpolates smoothly between two existing algorithms: the polynomial-time diagonal thresholding algorithm and the $\exp(ρn)$-time exhaustive search algorithm. Furthermore, by analyzing the low-degree likelihood ratio, we give rigorous evidence suggesting that the tradeoff achieved by our algorithms is optimal.

연구 동기 및 목표

• 희소 PCA에서 다항식 시간으로 복구 가능한 희소성 범위(ρ ≲ 1/√n)와 정보 이론적으로 가능한 범위(ρ ≪ 1) 사이의 격차를 메우기.
• 1/√n ≪ ρ ≪ 1인 '가능하지만 어려운' 영역에서 희소 PCA에 대해 초지수적 시간 exp(n^δ) 내에 작동하는 효율적인 알고리즘 설계.
• 저차수 우도 비율을 통해 제안된 런타임-희소성 트레이드오프가 계산적으로 최적임을 엄밀한 증거로 제시하기.
• 다항식 시간의 대각선 임계처리와 지수적 시간의 전수 탐색을 포함한 기존 알고리즘들을 연속적인 초지수적 시간 알고리즘의 가족으로 통합하기.

제안 방법

• 희소성 수준 ρ에 대해 런타임이 exp(ρ²n)로 스케일링되는, 대각선 임계처리와 전수 탐색 사이를 조율하는 초지수적 시간 알고리즘의 가족을 제안한다.
• 스파이크드 와이거 및 위샤르트 모델에 대해 저차수 우도 비율 프레임워크를 사용하여 희소 PCA의 계산적 난이도를 분석하며, 두 모델 모두에 대해 차수-d 우도 비율의 상한을 구한다.
• 조합적 추정과 moments의 상한을 사용하여 저차수 우도 비율의 노름을 제어하며, 특히 전개식에서 차수-d 항의 기여도에 집중한다.
• 체르노프 경계와 이항계수 및 계승의 점근적 근사치를 사용하여 우도 비율 노름의 성장률에 대한 날카운 상한을 유도한다.
• 초지수적 런타임을 보장하면서도 신호 탐지 능력을 유지하기 위해 D_n = o(n)을 도입하여 차수-d 전개를 잘라낸다.
• 저차수 우도 비율 노름이 발산하는지를 판단하기 위한 핵심 임계처리 조건을 도입하며, 이는 w_n = ⌈log(1/λ_n)⌉로 정의된다. 이는 특정 희소성 임계값 이하에서는 계산적으로 해를 구할 수 없음을 시사한다.

실험 결과

연구 질문

• RQ1 1/√n ≪ ρ ≪ 1일 때 다항식 시간 알고리즘이 실패하는 영역에서 희소 PCA를 초지수적 시간 내에 해결할 수 있는가?
• RQ2 스파이크드 와이거 모델과 위샤르트 모델에서 희소 PCA 복구에 대해 희소성 ρ와 런타임 사이의 최적 트레이드오프는 무엇인가?
• RQ3 제안된 초지수적 시간 알고리즘이 계산적으로 최적인지, 더 나은 알고리즘이 존재할 수 있는가?
• RQ4 저차수 우도 비율 프레임워크는 희소 PCA 문제의 계산적 난이도에 대해 엄밀한 증거를 제공할 수 있는가?
• RQ5 스파이크드 행렬 모델의 스펙트럼 성질은 하위다항식 또는 하위지수적 시간 내에서 복구의 가능성을 어떻게 영향을 주는가?

주요 결과

• 논문은 런타임이 exp(ρ²n)인 초지수적 시간 알고리즘을 제작하여 다항식 시간의 대각선 임계처리와 지수적 시간의 전수 탐색 사이를 매끄럽게 연결한다.
• 와이거 모델에서는 ρ ≳ 1/√n일 때 약한 복구를 달성하며, 1/√n ≪ ρ ≪ 1 영역에서 런타임이 exp(ρ²n)로 스케일링된다.
• ρ ≲ C√(D_n/n)λ_n log⁻²(1/λ_n)일 때 저차수 우도 비율 노름이 발산함을 보이며, 이는 δ < 1인 exp(n^δ) 시간 내에 작동하는 알고리즘이 이 임계값 이하에서는 성공할 수 없음을 시사한다.
• 분석 결과, 제안된 알고리즘이 달성한 희소성-런타임 트레이드오프는 저차수 다항식 모델 하에서 최적이며, 계산적 난이도에 대한 강력한 증거를 제공한다.
• 와이거 모델에서는 λ_n > 1 이며 ρ ≳ 1/√n일 때 알고리즘이 성공하며, 런타임은 exp(ρ²n)로, 전수 탐색의 exp(ρn)보다 훨씬 빠르다.
• 위샤르트 모델의 경우에도 동일한 알고리즘 프레임워크가 적용되며, β와 ρ에 대해 유사한 조건 하에서 런타임 상한 exp(ρ²n)이 유지되어 두 스파이크드 모델 모두에 대해 강건함을 확인한다.