[논문 리뷰] Reducibility and Computational Lower Bounds for Problems with Planted Sparse Structure

Matthew Brennan, Guy Bresler외 1명|arXiv (Cornell University)|2018. 06. 19.

Algorithms and Data Compression인용 수 33

한 줄 요약

이 논문은 식별 가능한 희소 구조를 가진 고차원 통계 문제들—예를 들어 식별 가능한 독립 집합, 조밀한 부분그래프, 이차군집화, 희소 주성분 분석 등—에 대해 식별 가능한 클리크 추측에서 유래한 새로운 평균적 케이스 감소 기법을 사용하여 날카운 계산 하한을 확립한다. 분포 이식, 기각 핵심, 반사 복제 등의 기법을 도입함으로써 저자들은 이전의 경계 결과들을 통합하고 강화하며, 스펙트럼 및 볼록 최소화 방법이 많은 영역에서 최적임을 보여준다.

ABSTRACT

The prototypical high-dimensional statistics problem entails finding a structured signal in noise. Many of these problems exhibit an intriguing phenomenon: the amount of data needed by all known computationally efficient algorithms far exceeds what is needed for inefficient algorithms that search over all possible structures. A line of work initiated by Berthet and Rigollet in 2013 has aimed to explain these statistical-computational gaps by reducing from conjecturally hard average-case problems in computer science. However, the delicate nature of average-case reductions has limited the applicability of this approach. In this work we introduce several new techniques to give a web of average-case reductions showing strong computational lower bounds based on the planted clique conjecture using natural problems as intermediates. These include tight lower bounds for Planted Independent Set, Planted Dense Subgraph, Sparse Spiked Wigner, Sparse PCA, a subgraph variant of the Stochastic Block Model and a biased variant of Sparse PCA. We also give algorithms matching our lower bounds and identify the information-theoretic limits of the models we consider.

연구 동기 및 목표

• 식별 가능한 구조를 가진 희소 통계 모델에서의 계산 난이도에 대한 열린 문제를 해결하기 위해.
• 신호 강도를 유지하고 전체 변동 거리 하에서 고차원 분포 간의 매핑을 보존하는 강력한 평균적 케이스 감소 기법을 개발하기 위해.
• 희소 주성분 분석, 이차군집화, 식별 가능한 조밀한 부분그래프 등의 문제들에 대한 이전의 난이도 결과들을 동일한 프레임워크를 통해 통합하고 강화하기 위해.
• 특히 희소 영역에서 효율적 알고리즘의 한계를 이해하는 데 격차를 해소하기 위해.
• 다양한 문제들 사이에서 정보 이론적 한계와 계산적 한계를 식별하고, 식별 가능한 클리크 추측 하에서 이들이 일치함을 보여주기 위해.

제안 방법

• 신호 수준을 유지하고, 전체 변동 거리 하에서 두 원천 분포를 두 목표 분포로 근사적으로 매핑하는 새로운 평균적 케이스 감소 프레임워크를 도입하기 위해.
• 희소 무작위 그래프에서의 탐지 문제를 식별 가능한 클리크 문제로 감소시키기 위해 '식별 가능한 클리크 이식'을 개발하기 위해.
• 전체 변동 거리 하에서 통계적 성질을 유지하면서 분포를 변형하기 위해 '기각 핵심'과 '분포 이식'을 사용하기 위해.
• 질서 1 부분행렬과 이차군집화 문제에 대한 감소를 위해 '반사 복제'와 '가우시안 이식'을 적용하기 위해.
• 희소 주성분 분석을 다른 문제들로 감소시키기 위해 '랜덤 로테이션' 기법을 설계하여, $k \gg \sqrt{n}$ 영역에서 날카운 하한을 확보하기 위해.
• 다수의 인스턴스 복제와 스펙트럼 알고리즘을 사용하여 지지집합의 교차에서 신호를 복구함으로써 탐지-복구 감소를 구성하기 위해.

실험 결과

연구 질문

• RQ1 희소 에르되시-레니 그래프에서 크기 $k$의 식별 가능한 독립 집합을 탐지하기 위한 날카운 계산 하한을 확립할 수 있는가?
• RQ2 edge 밀도가 $q = \tilde{\Theta}(n^{-\alpha})$ 이고 $p - q = \tilde{\Theta}(n^{-\gamma})$ 인 일반적인 식별 가능한 조밀한 부분그래프 모델에서 동일한 하한이 유지되는가? ($\gamma \geq \alpha$)
• RQ3 희소 주성분 분석에서 $k \gg \sqrt{n}$ 영역에서의 난이도가 식별 가능한 클리크 추측과 엄밀하게 연결될 수 있는가?
• RQ4 식별 가능한 클리크에서의 감소를 통해 단순 가설 검정 형식의 희소 주성분 분석과 유사 모델에 대해 날카운 하한을 도출할 수 있는가?
• RQ5 서브그래프 스토케스틱 블록 모델의 복구 변형은 계산 한계에 도달할 때까지 다항식 시간 내에 해결될 수 있는가?

주요 결과

• 에르되시-레니 그래프에서 엣지 밀도 $\tilde{\Theta}(n^{-\alpha})$ 인 희소 그래프에서 크기 $k$의 식별 가능한 독립 집합을 탐지하기 위한 날카운 계산 하한이 확립되었으며, 이는 정보 이론적 한계와 정확히 일치한다.
• 일반적인 식별 가능한 조밀한 부분그래프 모델에 대해 $q = \tilde{\Theta}(n^{-\alpha})$ 및 $p - q = \tilde{\Theta}(n^{-\gamma})$, $\gamma \geq \alpha$ 영역에서의 첫 번째 하한이 증명되었으며, 이는 HWX (15)에서 제기된 열린 문제를 해결한다.
• 희소 스파이크된 위그너 행렬에서 탐지가 이차군집화보다 엄밀히 더 어렵다는 것이 입증되었으며, 식별 가능한 클리크에서 유도된 별개의 감소 기법을 통해 날카운 하한이 도출되었다.
• 희소 질서 1 부분행렬과 희소 주성분 분석 간의 감소를 구성하여, 스펙트럼 방법이 최적임이 입증된 $k \gg \sqrt{n}$ 영역에서 날카운 하한을 확보하였다.
• 다른 감소 기법을 통해 BR13a와 GMZ (17)의 단순 가설 검정 변형의 하한을 재현하였으며, 다양한 프레임워크 간 일관성을 확인하였다.
• 식별된 벡터가 편향이 있을 경우 희소 주성분 분석에서 잠재적인 계산 장벽을 규명하였으며, 이는 표준 감소 기법이 전체 복잡성을 포괄하지 못하는 영역임을 드러냈다.