[논문 리뷰] Universality of Computational Lower Bounds for Submatrix Detection

Matthew Brennan, Guy Bresler외 1명|arXiv (Cornell University)|2019. 02. 19.

Statistical Methods and Inference참고 문헌 40인용 수 10

한 줄 요약

이 논문은 식물 클리크 추측에서 평균적 감소를 통해, 하위행렬 탐지 문제에서 통계-계산 갭이 분포 P와 Q 간의 KL 발산에 의해 유일하게 결정됨을 보여줌으로써, 계산 하한의 보편성 원리를 수립한다. 주요 결과는 하위행렬 크기 k와 KL 발산 간의 상호보완적 관계로서 계산 장벽을 정밀하게 특성화한 것으로, 기존의 가우시안 이분류 및 식물 밀도 하위그래프에 대한 결과를 일반화한다.

ABSTRACT

In the general submatrix detection problem, the task is to detect the presence of a small $k imes k$ submatrix with entries sampled from a distribution $\mathcal{P}$ in an $n imes n$ matrix of samples from $\mathcal{Q}$. This formulation includes a number of well-studied problems, such as biclustering when $\mathcal{P}$ and $\mathcal{Q}$ are Gaussians and the planted dense subgraph formulation of community detection when the submatrix is a principal minor and $\mathcal{P}$ and $\mathcal{Q}$ are Bernoulli random variables. These problems all seem to exhibit a universal phenomenon: there is a statistical-computational gap depending on $\mathcal{P}$ and $\mathcal{Q}$ between the minimum $k$ at which this task can be solved and the minimum $k$ at which it can be solved in polynomial time. Our main result is to tightly characterize this computational barrier as a tradeoff between $k$ and the KL divergences between $\mathcal{P}$ and $\mathcal{Q}$ through average-case reductions from the planted clique conjecture. These computational lower bounds hold given mild assumptions on $\mathcal{P}$ and $\mathcal{Q}$ arising naturally from classical binary hypothesis testing. Our results recover and generalize the planted clique lower bounds for Gaussian biclustering in Ma-Wu (2015) and Brennan et al. (2018) and for the sparse and general regimes of planted dense subgraph in Hajek et al. (2015) and Brennan et al. (2018). This yields the first universality principle for computational lower bounds obtained through average-case reductions.

연구 동기 및 목표

• 하위행렬 탐지에서의 통계-계산 갭이 서로 다른 분포 P와 Q 간에 보편적인가를 판단하는 것.
• 문제 특화 매개변수 대신 P와 Q 간의 KL 발산을 기반으로 계산 장벽을 특성화하는 것.
• 다양한 하위행렬 탐지 문제에 적용 가능한 일반적인 평균적 감소 기법을 개발하는 것.
• 기존의 가우시안 이분류 및 식물 밀도 하위그래프에 대한 식물 클리크 기반 하한을 복원하고 일반화하는 것.
• 평균적 감소를 활용한 계산 하한의 보편성 원리를 수립하는 것으로, 이 분야에서의 새로운 기여이다.

제안 방법

• 알고리즘적 측도 전환과 최적의 KL 발산 상호보완 관계 유지를 위해 다변량 기각 커널(MRK)을 도입하여 하위행렬을 강화한다.
• 그래프 인접행렬을 더 큰 행렬의 주요 소행렬로 통합하는 기법을 개발하여 분포 임베딩에서의 대각선 및 지지집합 일치 문제를 해결한다.
• 이분 검정의 약한 가정 하에 총 변동 거리에서의 평균적 감소를 사용하여 식물 클리크 문제와 일반 하위행렬 탐지 문제를 연결한다.
• 식물 클리크 추측을 하드니스 가정으로 사용하여 하위행렬 탐지의 엄밀한 계산 하한을 도출한다.
• 로그우도비 기반 분석을 통해 MRK가 KL 발산 상호보완 관계에서 최적 성능을 달성할 조건을 도출한다.
• 분포적 성질과 KL 발산 스케일링에 따라 유니버설리티 클래스 UC-A, UC-B, UC-C를 특성화한다.

실험 결과

연구 질문

• RQ1 하위행렬 탐지에서의 통계-계산 갭은 서로 다른 분포 쌍 (P, Q) 간에 보편적인 현상인가?
• RQ2 하위행렬 탐지의 계산 하한이 특정 문제 구조에 의존하지 않고 P와 Q 간의 KL 발산으로 엄밀히 특성화될 수 있는가?
• RQ3 어떤 일반적인 기법이 임의의 (P, Q) 쌍에 대해 식물 클리크에서 하위행렬 탐지로의 평균적 감소를 가능하게 하는가?
• RQ4 이 연구에서 확인된 바를 초월해, 자연스러운 유니버설리티 클래스 (P, Q) 쌍과 그들에 해당하는 단계도형이 존재하는가?
• RQ5 탐지의 계산 장벽과 하위행렬 복원의 계산 장벽은 어떻게 비교되며, 감소를 통해 연결될 수 있는가?

주요 결과

• 하위행렬 탐지의 계산 장벽은 하위행렬 크기 k와 P와 Q 간의 KL 발산 간의 상호보완적 관계로 엄밀히 특성화되며, 평균적 감소를 통해 엄밀한 하한이 도출된다.
• 제안된 다변량 기각 커널(MRK) 기법은 최적의 KL 발산 상호보완 관계를 달성하며, 엔트리 단위 감소 방법보다 엄밀한 하한을 도출하는 데 뛰어난 성능을 보인다.
• 주요 소행렬을 위한 임베딩 기법은 그래프에서 행렬로의 감소 과정에서 발생하는 대각선 및 행/열 지지집합 불일치 문제를 성공적으로 해결한다.
• 결과는 기존의 가우시안 이분류(MW 15; BBH 18) 및 식물 밀도 하위그래프의 희박 및 일반적 영역(HWX 15; BBH 18)에 대한 식물 클리크 기반 하한을 복원하고 일반화한다.
• 세 가지 유니버설리티 클래스(UC-A, UC-B, UC-C)가 식별되었으며, 테스트된 모든 쌍(예: 가우시안, 베르누이)이 UC-C에 속하며, 이 경우 KL 발산은 Θ(n^{-α}) 또는 Θ(n^{-2γ+α})로 스케일링된다.
• 하위행렬 탐지의 정보 이론적 하한으로 통계 한계가 특성화되며, 식물 클리크 추측 하에 계산 한계는 이보다 엄밀히 높게 나타난다.