[논문 리뷰] Average-Case Lower Bounds for Learning Sparse Mixtures, Robust Estimation and Semirandom Adversaries

Matthew Brennan, Guy Bresler|arXiv (Cornell University)|2019. 08. 08.

Machine Learning and Algorithms참고 문헌 90인용 수 8

한 줄 요약

이 논문은 균형 잡히지 않은 희소 가우시안 혼합 문제를 중심으로 하는 새로운 감소 프레임워크를 통해 세 가지 고차원 통계 문제—내성적인 희소 평균 추정, 반무작위적 커뮤니티 복원, 희소 혼합 모델 학습—에 대한 평균 케이스 계산 하한을 확립한다. 약간의 식재된 클리크 추측을 가정할 경우, 날것으로서의 $ \tilde{\theta}(k^2) $ 표본 복잡도 장벽이 엄밀하게 성립하며, 다양한 통계 작업 간에 일반적인 $ k $-에서 $ k^2 $-로의 격차를 드러낸다.

ABSTRACT

This paper develops several average-case reduction techniques to show new hardness results for three central high-dimensional statistics problems, implying a statistical-computational gap induced by robustness, a detection-recovery gap and a universality principle for these gaps. A main feature of our approach is to map to these problems via a common intermediate problem that we introduce, which we call Imbalanced Sparse Gaussian Mixtures. We assume the planted clique conjecture for a version of the planted clique problem where the position of the planted clique is mildly constrained, and from this obtain the following computational lower bounds: (1) a $k$-to-$k^2$ statistical-computational gap for robust sparse mean estimation, providing the first average-case evidence for a conjecture of Li (2017) and Balakrishnan et al. (2017); (2) a tight lower bound for semirandom planted dense subgraph, which shows that a semirandom adversary shifts the detection threshold in planted dense subgraph to the conjectured recovery threshold; and (3) a universality principle for $k$-to-$k^2$ gaps in a broad class of sparse mixture problems that includes many natural formulations such as the spiked covariance model. Our main approach is to introduce several average-case techniques to produce structured and Gaussianized versions of an input graph problem, and then to rotate these high-dimensional Gaussians by matrices carefully constructed from hyperplanes in $\mathbb{F}_r^t$. For our universality result, we introduce a new method to perform an algorithmic change of measure tailored to sparse mixtures. We also provide evidence that the mild promise in our variant of planted clique does not change the complexity of the problem.

연구 동기 및 목표

• 공격적인 오염 하에서 내성적인 희소 평균 추정에 대한 계산 하한을 확립하여, 다항 시간 알고리즘에 대해 $ n = \tilde{\Omega}(k^2) $ 개의 표본이 필요하다는 것을 보여준다.
• 반무작위적 커뮤니티 복원에서 탐지 및 복원 임계점이 일치한다는 오랫동안 제기된 추측을 해결하며, 그래프가 반무작위적 적인 적대자에 의해 왜곡될 경우에도 그들이 일치함을 증명한다.
• 희소 혼합 모델 학습에서 나타나는 $ k $-에서 $ k^2 $-로의 격차를 뒷받침하는 일반적인 메커니즘을 규명하며, 분포의 특정 형태와는 독립적으로 작용한다.
• 구조화된 그래프 문제에서 고차원 추정 작업으로의 평균 케이스 감소 기법을 개발하며, 유한체 위에서의 가우시안화와 회전을 통해 이를 달성한다.

제안 방법

• 감소를 위한 중심 중간 문제로 균형 잡히지 않은 희소 가우시안 혼합 문제를 도입한다.
• 대각선 식재와 복제 기법을 사용하여 입력 그래프 문제의 구조화되고 가우시안화된 형태를 구성한다.
• $ \mathbb{F}_r^t $ 내의 초평면에서 유도된 회전 행렬을 적용하여 고차원 가우시안을 변형하면서 통계적 성질을 유지한다.
• 희소 혼합 모델에 특화된 새로운 알고리즘적 측도 변화 기법을 개발하여 일반성 결과를 도출한다.
• 제한된 계산 모델 하에서 하한을 도출하기 위해 통계 질의(SQ) 및 저차수 가능도 비율 프레임워크를 활용한다.
• 평균 케이스의 딱딱한 난이도를 도출하기 위해, 클리크의 위치에 약간의 제약을 두는 식재된 클리크 추측의 변형을 사용한다.

실험 결과

연구 질문

• RQ1 공격적 오염 하에서 내성적인 희소 평균 추정에 대해 $ \tilde{\Omega}(k^2) $ 표본 복잡도가 다항 시간 알고리즘에 필수적인가, 아니면 알고리즘적 한계 때문인가?
• RQ2 반무작위적 적인 적대자가 그래프를 왜곡할 경우, 반무작위적 커뮤니티 복원에서 탐지 및 복원 임계점이 일치하는가?
• RQ3 다양한 고차원 추정 문제에서 널리 퍼져 있는 $ k $-에서 $ k^2 $-로의 격차를 유도하는 구조적 특성은 무엇인가?
• RQ4 원 문제의 통계적 구조를 유지하면서도 복잡한 추정 작업으로의 평균 케이스 감소를 구성할 수 있는가?
• RQ5 식재된 클리크 문제에서 클리크의 위치를 제약하는 것은 그 문제의 계산 복잡도에 영향을 미치는가?

주요 결과

• 약간의 식재된 클리크 추측을 가정할 경우, 다항 시간 알고리즘에 대해 내성적인 희소 평균 추정은 $ n = \tilde{\Omega}(k^2) $ 표본이 필요하며, 이는 최고의 알려진 상한과 일치하며, Li (17)와 BDLS (17)의 추측을 확인한다.
• 일정한 간선 밀도 $ q $ 를 가진 반무작위적 커뮤니티 복원에서 탐지 및 복원 임계점은 일치하며, 오랫동안 제기된 복원 추측에 대한 첫 번째 평균 케이스 증거를 제공한다.
• 일반성 원칙이 확립된다: 가능도 비율에 대한 약간의 조건이 만족될 경우, $ n = \tilde{\Theta}(k^2) $ 는 $ k $-희소 혼합 모델을 학습하는 데 있어 계산의 장벽이 되며, 특정한 분포 형태와는 무관하다.
• 감소 프레임워크는 총 변동 거리(총변동거리)를 유지하는 구조화되고 가우시안화된 인스턴스를 생성하여 엄밀한 평균 케이스 난이도 결과를 도출한다.
• 유한체의 초평면을 사용하여 회전 행렬을 구성하는 것은 감소 파이프라인에서 고차원 가우시안의 기하학적 구조를 정밀하게 제어할 수 있게 한다.
• 식재된 클리크의 위치에 대한 약간의 제약은 문제의 복잡도에 영향을 주지 않으며, 통계 질의 하한과 저차수 가능도 비율 분석을 통해 이를 입증하였다.