[논문 리뷰] Bayesian estimation from few samples: community detection and related problems

Samuel B. Hopkins, David Steurer|arXiv (Cornell University)|2017. 09. 30.

Statistical Methods and Bayesian Inference참고 문헌 2인용 수 15

한 줄 요약

이 논문은 적은 샘플에서 베이지안 추정을 위한 새로운 메타알고리즘을 제안하며, 저차수 다항식, 준정방형계획법, 텐서 분해를 활용하여 날카운 샘플 복잡도 한계를 달성한다. 이는 일정 평균 차수 그래프에서 혼합 구성성질 스토케스틱 블록 모델에 대한 첫 번째 복구 보장을 제공하며, 케스텐-스티그룸 경계를 초월한 날카로운 계산 임계점을 규명하여 기하급수적 시간 요구 조건을 뒷받침하는 증거를 제공한다.

ABSTRACT

We propose an efficient meta-algorithm for Bayesian estimation problems that is based on low-degree polynomials, semidefinite programming, and tensor decomposition. The algorithm is inspired by recent lower bound constructions for sum-of-squares and related to the method of moments. Our focus is on sample complexity bounds that are as tight as possible (up to additive lower-order terms) and often achieve statistical thresholds or conjectured computational thresholds. Our algorithm recovers the best known bounds for community detection in the sparse stochastic block model, a widely-studied class of estimation problems for community detection in graphs. We obtain the first recovery guarantees for the mixed-membership stochastic block model (Airoldi et el.) in constant average degree graphs---up to what we conjecture to be the computational threshold for this model. We show that our algorithm exhibits a sharp computational threshold for the stochastic block model with multiple communities beyond the Kesten--Stigum bound---giving evidence that this task may require exponential time. The basic strategy of our algorithm is strikingly simple: we compute the best-possible low-degree approximation for the moments of the posterior distribution of the parameters and use a robust tensor decomposition algorithm to recover the parameters from these approximate posterior moments.

연구 동기 및 목표

• 희소 샘플 조건 하에서 개념적으로 단순하면서도 강력한 메타알고리즘을 개발하기 위해.
• 하향항의 항을 제외한 날카로운 샘플 복잡도 경계를 달성하여 기존 통계적 및 계산 임계점과 일치하거나 근접시키기 위해.
• 일정 평균 차수 그래프에서 혼합 구성성질 스토케스틱 블록 모델에 대한 첫 번째 증명 가능한 복구 보장을 제공하기 위해.
• 다중 커뮤니티 스토케스틱 블록 모델에서 날카로운 계산 임계점을 규명하기 위해, 특히 케스텐–스티그룸 경계를 초월한 영역에서.
• 대칭 모델에서 개별 커뮤니티 소속 벡터를 복구할 수 있음을 보여주기 위해. 이는 이전 방법이 선형 조합만 복구할 수 있었던 한계를 극복한다.

제안 방법

• 알고리즘은 후행 모멘트의 최적의 저차수 다항식 근사를 의사기대값을 사용해 계산한다.
• 이러한 근사 후행 모멘트에서 파라미터를 복구하기 위해 강건한 텐서 분해 절차를 적용한다.
• 신호 강도를 고차수 모멘트에서 유지하기 위해 상관관계 유지 투영을 사용한다.
• 계산 효율성을 확보하기 위해 고차수 후행 모멘트를 근사하기 위해 저차수 추정기를 적용한다.
• 상수 상관관계를 가진 텐서 분해 문제를 해결하기 위해 합의의 제곱 방법 기반 볼록 프로그래밍을 사용한다.
• 3차 모멘트에서 4차 모멘트로의 저상관 신호 확장을 가능하게 하기 위해 3-에서-4 텐서 리프팅 기법을 개발한다.

실험 결과

연구 질문

• RQ1 통합된 메타알고리즘이 소수 샘플에서 최적의 샘플 복잡도를 달성할 수 있는가?
• RQ2 일정 평균 차수에서 혼합 구성성질 스토케스틱 블록 모델의 커뮤니티 탐지에 대한 계산 임계점은 무엇인가?
• RQ3 다중 커뮤니티 모델에서 케스텐–스티그룸 경계를 초월한 영역에서 알고리즘이 복구 성능에 날카로운 단계 전이를 보이는가?
• RQ4 대칭 혼합 구성성질 모델에서 선형 조합 외에 개별 커뮤니티 소속 벡터를 복구할 수 있는가?
• RQ5 저차수 다항식 방법이 스토케스틱 블록 모델에서 추정의 통계적 및 계산적 한계를 어느 정도 반영하는가?

주요 결과

• 알고리즘은 두 커뮤니티 스토케스틱 블록 모델에서 기존 결과와 일치하는 최고의 알려진 샘플 복잡도 경계를 달성한다.
• 일정 평균 차수 그래프에서 혼합 구성성질 스토케스틱 블록 모델에 대해 첫 번째 증명 가능한 복구 보장을 제공하며, 추측된 계산 임계점까지 도달한다.
• 다중 커뮤니티 스토케스틱 블록 모델에서 알고리즘은 케스텐–스티그룸 경계를 초월한 날카로운 계산 임계점을 드러내며, 이는 기하급수적 시간이 필요할 수 있음을 시사한다.
• 대칭 모델에서 개별 커뮤니티 소속 벡터를 성공적으로 복구하여, 이전 알고리즘이 선형 조합만 복구할 수 있었던 한계를 극복한다.
• 3-에서-4 텐서 리프팅 절차를 통해 상수 상관관계에서 복구가 가능해졌으며, 알고리즘은 목표 텐서에서 최소 δ^O(1) 수준의 상관관계를 달성한다.
• 이론적 분석은 알고리즘 성능가 저차수 다항식 방법에 의해 날카롭게 경계됨을 확인하며, 추정에서의 계산 한계에 대한 증거를 제공한다.