[논문 리뷰] Machinery for Proving Sum-of-Squares Lower Bounds on Certification Problems

Aaron Potechin, Goutham Rajendran|arXiv (Cornell University)|2020. 11. 09.

Complexity and Algorithms in Graphs인용 수 4

한 줄 요약

이 논문은 Barak 등 [BHK+16]의 가짜 캘리브레이션 기법을 확장하여 증명 문제에 대한 합의제곱(SoS) 하한을 일반화된 프레임워크로 개발한다. 이 방법은 SoS 하한 증명을 세 가지 조건—정재성 질량, 중간 형태 경계, 교차 항 경계—로 환원함으로써 텐서 PCA, 희소 PCA(Wishart 모델), 그리고 식별된 약간 더 높은 밀도의 하위그래프를 심은 클리크의 변종에 대해 효율적인 증명을 가능하게 하며, 기존 알고리즘 임계값과 일치하는 $n^\varepsilon$ 차수의 SoS 하한을 달성한다.

ABSTRACT

In this paper, we construct general machinery for proving Sum-of-Squares lower bounds on certification problems by generalizing the techniques used by Barak et al. [FOCS 2016] to prove Sum-of-Squares lower bounds for planted clique. Using this machinery, we prove degree $n^{\\epsilon}$ Sum-of-Squares lower bounds for tensor PCA, the Wishart model of sparse PCA, and a variant of planted clique which we call planted slightly denser subgraph.

연구 동기 및 목표

• 증명 문제에 대한 확률적 합의제곱(SoS) 하한을 증명하기 위한 일반적이고 재사용 가능한 프레임워크를 개발하는 것.
• 식별된 클리크에 사용된 가짜 캘리브레이션 기법을 텐서 PCA 및 희소 PCA와 같은 더 넓은 범위의 문제로 일반화하는 것.
• 계수 행렬에 대한 검증 가능한 조건로 문제의 기술적 분석을 분리함으로써 SoS 하한 증명의 복잡도를 낮추는 것.
• 기존 알고리즘 보장과 일치하는 하한을 증명함으로써 통계 및 기계학습 분야의 핵심 문제들에 대해 날카로운 계산 임계값을 확립하는 것.
• 정점과 간선 감쇠를 수반하는 조밀한 모델으로 확장하여 식별된 클리크를 초월한 영역까지 적용 가능한 체계적인 접근법을 제공하는 것.

제안 방법

• [BHK+16]에서 제안한 가짜 캘리브레이션 기법을 일반화하여 증명 문제를 위한 후보 가짜 기대값과 모멘트 행렬을 구성하는 것.
• 모멘트 행렬이 높은 확률로 양의 준정적(positive semidefinite)이 되도록 보장하기 위한 계수 행렬에 대한 세 가지 핵심 조건—정재성 질량, 중간 형태 경계, 교차 항 경계—를 정의하는 것.
• 도형의 형태 기반 분해를 통해 모멘트 행렬을 분석하고, 대칭성과 자동형태 인자들을 활용하는 것.
• 고차수 도형의 기여도를 감쇠 매개변수와 정규화 인자로 제한함으로써 잘라내기 오차 분석을 적용하는 것.
• 계수 행렬의 구조를 활용하여 문제 특화 분석과 일반 증명 기계장치를 분리하는 것.
• 왼쪽 형태, 오른쪽 형태, 자동형태 보정을 포함하는 재귀적 경계 전략을 사용하여 모멘트 행렬 내 항의 성장률을 제어하는 것.

실험 결과

연구 질문

• RQ1 식별된 클리크에 사용된 가짜 캘리브레이션 기법을 텐서 PCA 및 희소 PCA와 같은 다른 증명 문제로 일반화할 수 있는가?
• RQ2 계수 행렬에 대해 어떤 최소한의 구조적 조건이 존재하면 결과 모멘트 행렬이 높은 확률로 양의 준정적이게 되는가?
• RQ3 문제 특화 분석을 추상화함으로써 SoS 하한 증명의 기술적 복잡도를 얼마나 줄일 수 있는가?
• RQ4 이 기계장치를 통해 증명된 SoS 하한이 텐서 PCA 및 희소 PCA와 같은 문제들에 대해 알려진 최고의 알고리즘 보장과 일치하는가?
• RQ5 이 프레임워크는 Denset k-Subgraph나 희소 모델과 같이 더 약한 감쇠 성질을 가진 문제들로도 확장 가능한가?

주요 결과

• 논문은 텐서 PCA에 대해 $n^\varepsilon$ 차수의 합의제곱 하한을 확립하여, 이 문제에 대해 알려진 최고의 알고리즘 보장과 일치함을 보였다.
• 희소 PCA의 Wishart 모델에 대해서는 $n^\varepsilon$ SoS 하한을 도출하여, 다항로그 요소까지의 근사 가능성 임계값 그림을 완성하였다.
• 식별된 약간 더 높은 밀도의 하위그래프를 가진 새로운 식별 클리크의 변종이 $n^\varepsilon$ SoS 하한을 가짐을 입증하여, 이 기법의 적용 범위를 표준 식별 클리크를 초월하도록 확장하였다.
• 이 프레임워크는 SoS 하한 증명을 계수 행렬에 대한 세 가지 구조적 조건의 검증으로 환원하여 분석을 크게 단순화시켰다.
• 이 기계장치는 정점과 간선 감쇠를 모두 처리할 수 있었으며, 형태 내 정점과 간선 수에 따라 계수들이 지수적으로 감쇠되는 경우에도 잘 작동하였다.
• 저자들은 모멘트 행렬 내 잘라내기 오차가 감쇠 매개변수와 정규화 인자로 제한될 수 있음을 입증하여, 최종 행렬이 여전히 양의 준정적이게 유지됨을 보였다.