[논문 리뷰] Computational Hardness of Certifying Bounds on Constrained PCA Problems

Afonso S. Bandeira, Dmitriy Kunisky외 1명|arXiv (Cornell University)|2019. 02. 19.

Random Matrices and Applications참고 문헌 51인용 수 23

한 줄 요약

이 논문은 제약 조건이 있는 PCA 문제에서 상한을 증명하는 데 있어서 계산적 난이도를 규명하며, 복잡도 이론적 가정 하에 다항시간 알고리즘이 GOE 행렬의 최대 고유값보다 더 나은 상한을 증명할 수 없음을 보여준다. 핵심 결과는 최적화가 가능하지만 증명이 계산적으로 비가능한 셰링턴-키르크패트릭 스핀 거품 모델에 적용된다.

ABSTRACT

A conjecture of Hopkins (2018) posits that for certain high-dimensional hypothesis testing problems, no polynomial-time algorithm can outperform so-called "simple statistics", which are low-degree polynomials in the data. This conjecture formalizes the beliefs surrounding a line of recent work that seeks to understand statistical-versus-computational tradeoffs via the low-degree likelihood ratio. In this work, we refute the conjecture of Hopkins. However, our counterexample crucially exploits the specifics of the noise operator used in the conjecture, and we point out a simple way to modify the conjecture to rule out our counterexample. We also give an example illustrating that (even after the above modification), the symmetry assumption in the conjecture is necessary. These results do not undermine the low-degree framework for computational lower bounds, but rather aim to better understand what class of problems it is applicable to.

연구 동기 및 목표

• 무작위 행렬 문제에서 제약 집합 위의 이차형식에 대한 상한을 증명하는 데 있어서 계산 복잡도를 조사한다.
• 특히 제약 조건이 있는 PCA에서 신호가 없는 무작위 최적화 문제에서 통계적-계산적 갭을 규명한다.
• 셰링턴-키르크패트릭 모델에서 스펙트럼 노름보다 더 날카운 상한을 증명하는 것이 계산적으로 어렵다는 것을 보여준다.
• 저차수 우도 비율 방법을 적용하여 부정적 스파이크가 있는 위샤르트 모델에서의 계산 임계점을 규명한다.

제안 방법

• 제약 조건이 있는 PCA에서의 증명 문제를 부정적 스파이크가 있는 위샤르트 모델에서의 탐지 문제로 환원한다.
• 저차수 우도 비율 방법을 사용하여 스파이크가 있는 모델과 없는 모델을 구분할 수 있는 저차수 다항식이 존재하지 않음을 보여준다. 이는 스펙트럼 임계점 이하에서 성립한다.
• 일반화된 에르미트 다항식과 수직 다항식 체계를 사용하여 우도 비율의 저차수 사영의 노름을 계산한다.
• 스파이크 사전의 내적 분포를 바탕으로 저차수 우도 비율의 제곱 노름을 표현한다.
• 스파이크 벡터 간 내적의 尾확률을 제어하기 위해 국소 초르노프 경계를 적용한다.
• 집중 경계와 테일러 급수 근사를 조합하여 n → ∞ 일 때 우도 비율 노름의 점근적 행동을 분석한다.

실험 결과

연구 질문

• RQ1 다항시간 알고리즘은 제약 집합 S 위에서 x⊤Wx의 최대 이차형식에 대해 W의 최대 고유값보다 더 나은 상한을 증명할 수 있는가?
• RQ2 최적화가 가능하지만 증명이 계산적으로 어려운 셰링턴-키르크패트릭 스핀 거품 모델에서 상한을 증명하는 문제는 계산적으로 난이도가 높은가?
• RQ3 저차수 우도 비율 방법은 부정적 스파이크가 있는 위샤르트 모델에서 계산 임계점을 올바르게 규명하는가?
• RQ4 고전적 스펙트럼 임계점 이하에서 스파이크가 있는 모델과 없는 모델을 구분하는 데 있어서 계산 복잡도는 어떠한가?
• RQ5 대칭 행렬의 분포가 GOE와 계산적으로 구별되지 않지만, S 위에서 최대 이차형식이 일반적인 GOE 행렬보다 훨씬 클 수 있는가?

주요 결과

• 저차수 우도 비율 방법에 따르면, 특정 정규화된 제약 집합 S에 대해 다항시간 알고리즘은 W의 최대 고유값보다 더 나은 상한을 증명할 수 없다.
• 이 난이도 결과는 최적화는 효율적이지만 증명은 그렇지 않은 셰링턴-키르크패트릭 모델에 적용되며, S = {±1/√n}^n 이다.
• 부정적 스파이크가 있는 위샤르트 모델에서 우도 비율의 저차수 사영의 노름은 β² < γ 일 때 유계이므로, 스파이크가 없는 모델과 계산적으로 구별되지 않는다.
• D = o(n/log n) 일 때, 스파이크 벡터의 내적에서의 대 deviations 는 지수적으로 감소하지만, 저차수 우도 비율은 다항식적으로 증가하므로 유계성이 유지된다.
• 증명은 GOE와 계산적으로 구별되지 않지만, S 위에서 최대 이차형식이 일반적인 GOE 행렬보다 훨씬 큰 행렬의 분포를 구성한다.
• 이 결과는 최적화 작업에는 그러한 갭이 없지만, 제약 조건이 있는 PCA의 증명 작업에서는 통계적-계산적 갭이 존재함을 시사한다.