[논문 리뷰] Reducibility and Statistical-Computational Gaps from Secret Leakage

Matthew Brennan, Guy Bresler|arXiv (Cornell University)|2020. 05. 16.

Machine Learning and Algorithms참고 문헌 214인용 수 22

한 줄 요약

이 논문은 다양한 통계적 추론 문제 간의 평균 케이스 감소를 가능하게 하기 위해 비밀 정보 泄露 식 식별 클리크($\textsc{pc}_{\rho}$)를 일반화된 딱지가정으로 도입한다. 구조화된 정보 泄露를 활용하여 강건한 희소 평균 추정, 텐서 PCA, 스토하스틱 블록 모델 등 여러 문제에 대해 날카로운 계산 하한을 확립하며, 오랫동안 추측되어 온 통계-계산 갭에 대한 첫 번째 감소 기반 증거를 제공한다.

ABSTRACT

Inference problems with conjectured statistical-computational gaps are ubiquitous throughout modern statistics, computer science and statistical physics. While there has been success evidencing these gaps from the failure of restricted classes of algorithms, progress towards a more traditional reduction-based approach to computational complexity in statistical inference has been limited. Existing reductions have largely been limited to inference problems with similar structure -- primarily mapping among problems representable as a sparse submatrix signal plus a noise matrix, which are similar to the common hardness assumption of planted clique. The insight in this work is that a slight generalization of the planted clique conjecture -- secret leakage planted clique -- gives rise to a variety of new average-case reduction techniques, yielding a web of reductions among problems with very different structure. Using variants of the planted clique conjecture for specific forms of secret leakage planted clique, we deduce tight statistical-computational tradeoffs for a diverse range of problems including robust sparse mean estimation, mixtures of sparse linear regressions, robust sparse linear regression, tensor PCA, variants of dense $k$-block stochastic block models, negatively correlated sparse PCA, semirandom planted dense subgraph, detection in hidden partition models and a universality principle for learning sparse mixtures. In particular, a $k$-partite hypergraph variant of the planted clique conjecture is sufficient to establish all of our computational lower bounds. Our techniques also reveal novel connections to combinatorial designs and to random matrix theory. This work gives the first evidence that an expanded set of hardness assumptions, such as for secret leakage planted clique, may be a key first step towards a more complete theory of reductions among statistical problems.

연구 동기 및 목표

• 평균 케이스 추론 문제에서 통계-계산 갭에 대한 감소 기반 증거의 부족을 해결한다.
• 희소 PCA와 조밀한 블록 모델과 같이 구조가 다름에 따라 감소하는 데 기술적 장벽을 극복한다.
• 다양한 문제 간 감소를 통합하기 위해 새로운 딱지가정 클래스—비밀 정보 泄露 식별 클리크($\\textsc{pc}_{\\rho}$)—를 개발한다.
• 강건한 추정, 희소 혼합 모델, 텐서 PCA에서 추측된 갭에 대한 감소 기반 증거를 제공한다.
• 평균 케이스 감소, $\\mathbb{F}_r^t$ 위의 조합 설계, 그리고 랜덤 행렬 이론 간의 연결 고리를 확립한다.

제안 방법

• 숨겨진 클리크에 대한 부분 정보가 공개되는 식별 클리크 추측의 일반화인 $\\textsc{pc}_{\\rho}$를 도입한다.
• 기각 커널과 조밀한 베르누이 로테이션을 사용하여 식별 클리크 인스턴스를 대상 문제의 구조화된 노이즈로 변환한다.
• 대칭 3항 기각 커널을 구성하고 $\\mathbb{F}_r^t$ 위의 행렬을 설계하여 클리크 구조를 가우시안 및 베르누이 행렬에 통합한다.
• 위샤르트 및 역위샤르트 행렬 간의 수렴 결과를 활용하여 희소 PCA에서 음의 상관관계를 생성한다.
• 초그래프에서의 텐서 완성 기법을 적용하여 텐서 PCA 및 희소 혼합 학습으로 감소한다.
• 저차 다항식 및 통계 질의 하한을 사용하여 $\\textsc{pc}_{\\rho}$ 추측에 대한 증거를 제공한다.

실험 결과

연구 질문

• RQ1 비밀 정보 泄露 식별 클리크($\\textsc{pc}_{\\rho}$)는 다양한 통계적 추론 문제 간 감소의 보편적인 기초가 될 수 있는가?
• RQ2 $\\textsc{pc}_{\\rho}$에서 유도된 새로운 감소 기법은 이전에 서로 다른 구조를 가진 문제 간의 매핑에 제한되었던 문제들을 어떻게 극복하는가?
• RQ3 $\\textsc{pc}_{\\rho}$ 기반 감소는 강건한 희소 평균 추정 및 텐서 PCA와 같은 문제에서 통계-계산 갭에 대한 증거를 어느 정도 제공하는가?
• RQ4 $\\mathbb{F}_r^t$ 내의 인cidense 기하학 및 랜덤 행렬 이론과의 연결은 감소 프레임워크를 어떻게 향상시키는가?
• RQ5 저차 다항식 및 통계 질의 알고리즘이 실패할 경우 $\\textsc{pc}_{\\rho}$ 딱지가정의 타당성을 뒷받침할 수 있는가?

주요 결과

• $\\textsc{pc}_{\\rho}$ 추측은 강건한 희소 평균 추정에 대해 계산 하한을 암시하며, 하한은 케스텐-스티그룸 임계점까지 유효하다.
• $k$-파트라이트 초그래프 식별 클리크에서 isbm로의 감소는 $\epsilon = \Theta(\sqrt{k})$일 때 약한 복구에 대한 계산 하한을 확립한다.
• 논문은 위샤르트 및 역위샤르트 행렬 간의 수렴 결과를 증명하며, 이는 희소 PCA에서 음의 상관관계 생성에 사용된다.
• $\\textsc{pc}_{\\rho}$에서의 감소는 텐서 PCA에 대해 날카로운 계산 하한을 도출하며, 기존의 통계 한계와 일치한다.
• 이 프레임워크는 희소 혼합 모델 학습에 대한 보편성 원칙을 확립하여, UC$(n)$에 속하는 모든 문제들이 동일한 계산 임계점을 공유함을 보여준다.
• 저차 다항식 및 통계 질의 알고리즘의 실패에 기반한 증거는 $\\textsc{pc}_{\\rho}$ 추측을 지지하며, 특히 $k$-파트라이트 변형은 가장 강력한 추측이다.