[논문 리뷰] Improved Sum-of-Squares Lower Bounds for Hidden Clique and Hidden Submatrix Problems

Yash Deshpande, Andrea Montanari|arXiv (Cornell University)|2015. 02. 23.

Sparse and Compressive Sensing Techniques참고 문헌 21인용 수 41

한 줄 요약

이 논문은 숨겨진 클리크 및 숨겨진 부분행렬 문제를 해결하는 데 있어 Sum-of-Squares (SOS) 계층 구조에 대해 향상된 하한을 확립한다. 이는 차수 4 SOS가 숨겨진 부분행렬의 크기 $k \geq C n^{1/3} / \log n$ 가 아닐 경우 탐지에 실패함을 보여준다. 이 결과는 무작위 연관 체계의 모멘트 방법과 스펙트럼 분석을 활용한 증거 행렬을 구성함으로써 도출되며, 이는 SOS가 이 임계값 이하에서는 이러한 문제를 효율적으로 해결할 수 없음을 입증한다. 이는 $k$ 가 더 작은 경우 통계적으로는 해결 가능하나, 이 이상의 계산적 난이도를 보여주는 강력한 증거이다. 이는 SOS 프레임워크 내에서 숨겨진 클리크 문제의 계산적 난이도를 뒷받침한다.

ABSTRACT

Given a large data matrix $A\in\mathbb{R}^{n imes n}$, we consider the problem of determining whether its entries are i.i.d. with some known marginal distribution $A_{ij}\sim P_0$, or instead $A$ contains a principal submatrix $A_{{\sf Q},{\sf Q}}$ whose entries have marginal distribution $A_{ij}\sim P_1 eq P_0$. As a special case, the hidden (or planted) clique problem requires to find a planted clique in an otherwise uniformly random graph. Assuming unbounded computational resources, this hypothesis testing problem is statistically solvable provided $|{\sf Q}|\ge C \log n$ for a suitable constant $C$. However, despite substantial effort, no polynomial time algorithm is known that succeeds with high probability when $|{\sf Q}| = o(\sqrt{n})$. Recently Meka and Wigderson \cite{meka2013association}, proposed a method to establish lower bounds within the Sum of Squares (SOS) semidefinite hierarchy. Here we consider the degree-$4$ SOS relaxation, and study the construction of \cite{meka2013association} to prove that SOS fails unless $k\ge C\, n^{1/3}/\log n$. An argument presented by Barak implies that this lower bound cannot be substantially improved unless the witness construction is changed in the proof. Our proof uses the moments method to bound the spectrum of a certain random association scheme, i.e. a symmetric random matrix whose rows and columns are indexed by the edges of an Erdös-Renyi random graph.

연구 동기 및 목표

• 무작위 행렬 내에서 숨겨진 부분행렬과 클리크를 탐지하는 데 있어 Sum-of-Squares (SOS) 계층 구조의 계산 하한을 확립하는 것.
• 숨겨진 클리크 문제에서 통계적 해결 가능성과 알고리즘 타당성 사이의 격차를 메우는 것. 이는 $k \geq C \log n$ 일 때는 탐지가 가능하지만, $k = o(\sqrt{n})$ 일 때는 다항식 시간 알고리즘이 알려져 있지 않다.
• 이전의 SOS 하한을 향상시키기 위해, $k < C n^{1/3}/\log n$ 일 때 차수 4 SOS가 실패함을 보여주는 더 정교한 증거 행렬을 구성하는 것.
• 에르되시-레니 무작위 그래프에서 유도된 무작위 연관 체계의 스펙트럼 성질을 분석하여 증거 행렬의 고유값을 제한하는 것.

제안 방법

• 메카와 위그더슨의 방법을 차수 4 SOS 계층 구조에 맞게 수정하여 SOS 완화를 위한 증거 행렬을 구성하는 것.
• 에르되시-레니 무작위 그래프의 간선으로 인덱싱된 대칭 무작위 행렬의 스펙트럼을 제한하기 위해 모멘트 방법을 적용하는 것.
• 그래프 간선을 기반으로 한 무작위 연관 체계를 정의하고, 그 조합적 구조를 활용해 증거 행렬의 기대 모멘트를 분석하는 것.
• 스펙트럼 분해와 사영 연산자를 사용하여 증거 행렬이 기대값에서 벗어나는 편차를 제어하는 것.
• 높은 확률 꼬리 추정치를 사용하여 핵심 행렬 블록($H_{11}, H_{12}, H_{22}$)의 농도 구간을 확립하는 것.
• 증거 행렬이 null 가설 하에서 $k \geq C n^{1/3}/\log n$ 일 때에만 양의 준정부행렬이 유지됨을 증명함으로써, 이 임계값 이하에서는 SOS가 실패함을 의미한다.

실험 결과

연구 질문

• RQ1 SOS 계층 구조가 $k = o(\sqrt{n})$ 일 때 무작위 행렬 내에서 크기가 $k$ 인 숨겨진 부분행렬을 탐지할 수 있는가?
• RQ2 차수 4 SOS 완화가 숨겨진 클리크 문제를 해결하지 못하는 데 있어 $k$ 의 가장 날카로운 하한은 무엇인가?
• RQ3 메카-위그더슨 증거 구성 방식을 변경하지 않고도 더 강력한 SOS 하한을 도출하기 위해 개선할 수 있는가?
• RQ4 무작위 연관 체계의 스펙트럼 성질이 숨겨진 부분행렬 탐지에서 SOS 알고리즘 성능에 어떻게 영향을 미치는가?
• RQ5 SOS 실패의 $n^{1/3}/\log n$ 임계값은 최적인가, 아니면 다른 구성 방식으로 개선될 수 있는가?

주요 결과

• 차수 4 SOS 계층 구조는 숨겨진 부분행렬의 크기가 $k \geq C n^{1/3} / \log n$ 를 만족할 때에만 탐지에 성공하며, 여기서 $C$ 는 전역 상수이다.
• 바라크의 논의에 따르면 이 하한은 로그 인자 외에는 날카로운 것으로 밝혀졌으며, 이를 향상시키기 위해서는 증거 구성 방식을 변경해야 한다.
• 모멘트 기반 농도 부등식을 사용하여 증거 행렬의 기대값에서의 편차의 스펙트럼 노름을 높은 확률로 제어한다.
• 분석은 증거 행렬을 블록으로 분해하고, 랜덤 그래프 내 레이블이 붙은 경로에 대한 그래프 이론적 모멘트 수를 통해 블록의 연산자 노름을 제한하는 데 의존한다.
• 증거 행렬의 구성은 $k$ 가 $n^{1/3}/\log n$ 임계값을 초과할 때에만 null 가설 하에서 양의 준정부행렬이 유지되며, 이는 SOS 실패를 입증한다.
• 이 결과는 SOS 프레임워크 내에서 숨겨진 클리크 문제의 계산적 난이도가 이전에 알려진 바를 초월하여 여전히 높다는 강력한 증거를 제공한다.