[논문 리뷰] Finding a Large Submatrix of a Gaussian Random Matrix

David Gamarnik, Quan Li|arXiv (Cornell University)|2016. 02. 26.

Topological and Geometric Data Analysis참고 문헌 12인용 수 4

한 줄 요약

이 논문은 상수 $k$에 대해 가장 큰 평균 부분행렬(LAS) 알고리즘이 높은 확률로 평균 부분행렬 값을 $(1+o(1))\sqrt{2\log n/k}$에 도달함을 입증하며, 오랫동안 제기된 추측을 확인한다. 또한 이에 비해 $4/3$ 배 향상된 성능을 보이는 새로운 알고리즘 $\mathcal{IGP}$를 제안하고, $\alpha^* \approx 1.3608$에서 발생하는 계면 전이를 규명하여 오버랩 갭 성질(OGP)의 시작을 알리며, 이는 이 임계점 이상에서 알고리즘적 난이도가 증가할 가능성을 시사한다.

ABSTRACT

We consider the problem of finding a $k imes k$ submatrix of an $n imes n$ matrix with i.i.d. standard Gaussian entries, which has a large average entry. It was shown earlier by Bhamidi et al. that the largest average value of such a matrix is $2\sqrt{\log n/k}$ with high probability. In the same paper an evidence was provided that a natural greedy algorithm called Largest Average Submatrix ($\LAS$) should produce a matrix with average entry approximately $\sqrt{2}$ smaller. In this paper we show that the matrix produced by the $\LAS$ algorithm is indeed $\sqrt{2\log n/k}$ w.h.p. Then by drawing an analogy with the problem of finding cliques in random graphs, we propose a simple greedy algorithm which produces a $k imes k$ matrix with asymptotically the same average value. Since the greedy algorithm is the best known algorithm for finding cliques in random graphs, it is tempting to believe that beating the factor $\sqrt{2}$ performance gap suffered by both algorithms might be very challenging. Surprisingly, we show the existence of a very simple algorithm which produces a matrix with average value $(4/3)\sqrt{2\log n/k}$. To get an insight into the algorithmic hardness of this problem, and motivated by methods originating in the theory of spin glasses, we conduct the so-called expected overlap analysis of matrices with average value asymptotically $α\sqrt{2\log n/k}$. The overlap corresponds to the number of common rows and common columns for pairs of matrices achieving this value. We discover numerically an intriguing phase transition at $α^*\approx 1.3608..$: when $αα^*$. We conjecture that $α>α^*$ marks the onset of the algorithmic hardness.

연구 동기 및 목표

• LAS 알고리즘이 전역 최적값보다 약 $\sqrt{2}$ 작게 평균 부분행렬 값을 도출한다는 추측을 해결하기 위해.
• 가우시안 랜덤 행렬에서 고평균 부분행렬을 찾는 데 있어 LAS보다 더 효과적인 다항시간 알고리즘을 개발하기 위해.
• 스핀 거품 이론의 맥락에서 오버랩 갭 성질(OGP)을 통해 최대 부분행렬 문제의 알고리즘적 난이도를 탐구하기 위해.
• OGP가 $\alpha^* \approx 1.3608$에서 발생하는 것이 다항시간 알고리즘에 대한 기본적인 장벽을 나타내는지 탐색하기 위해.

제안 방법

• 알고리즘의 반복 경로에 대한 조건부 분석을 통해 LAS 알고리즘의 출력이 상수 $k$에 대해 분포 수렴하여 $\sqrt{2\log n/k}$에 도달함을 증명한다.
• 단계 $r$에서의 행렬과 가장 좋은 미사용 $k\times n$ 스트립 간의 渐近적 독립성을 확립함으로써 수렴 분석을 가능하게 한다.
• 무작위 그래프에서 클리크 탐색 히우리스틱에 영감을 얻어 새로운 근사 알고리즘 $\mathcal{IGP}$를 제안하며, 이는 LAS 대비 $4/3$ 배 향상된 성능을 달성한다.
• 고평균 부분행렬의 기하학적 성질을 분석하기 위해 기대 오버랩 분석을 적용하며, 오버랩은 두 행렬 간 공유되는 행과 열의 비율로 정의된다.
• $\alpha^* = 5\sqrt{2}/(3\sqrt{3}) \approx 1.3608$에서 오버랩 공간이 연속에서 이산으로 전이되는 계면 전이를 규명하며, 이는 OGP의 시작을 알린다.
• OGP가 $\alpha > \alpha^*$일 경우 알고리즘적으로 난이도가 증가함을 추측하며, 평균 값 $\geq (1+o(1))\alpha\sqrt{2\log n/k}$를 갖는 부분행렬을 찾는 데 다항시간 알고리즘이 존재하지 않을 것임을 시사한다.

실험 결과

연구 질문

• RQ1 상수 $k$에 대해 LAS 알고리즘이 높은 확률로 평균 부분행렬 값을 $(1+o(1))\sqrt{2\log n/k}$에 도달하는가?
• RQ2 LAS의 $\sqrt{2}$ 요인 격차를 초월하여 더 높은 평균 값을 달성하는 다항시간 알고리즘이 존재하는가?
• RQ3 OGP가 $\alpha^* \approx 1.3608$에서 발생하는 것이 이 문제에 대한 효율적 알고리즘에 대한 기본 장벽을 나타내는가?
• RQ4 OGP가 $\alpha > \alpha^*$에서 관찰되는 것이 실제 알고리즘적 난이도를 반영하는가, 아니면 새로운 알고리즘 기법으로 극복될 수 있는가?
• RQ5 고평균 부분행렬의 해공간 기하학적 구조는 무엇이며, 이는 스핀 거품 모델과 계면 전이와 어떻게 관련이 있는가?

주요 결과

• 상수 $k$에 대해 LAS 알고리즘은 높은 확률로 평균 부분행렬 값을 $(1+o(1))\sqrt{2\log n/k}$에 도달하며, BDN12의 추측을 확인한다.
• LAS 알고리즘의 반복 횟수는 $n$이 증가함에 따라 확률적으로 유계이며, 유한 단계 내 수렴함을 시사한다.
• 새로운 알고리즘 $\mathcal{IGP}$는 LAS 대비 $4/3$ 배 향상된 성능을 보이며, $k = o(n)$일 경우 평균 값 $(1+o_k(1))(4/3)\sqrt{2\log n/k}$의 부분행렬을 생성한다.
• $\alpha^* = 5\sqrt{2}/(3\sqrt{3}) \approx 1.3608$에서 오버랩 공간이 연속에서 이산으로 전이되는 계면 전이가 발생하며, 이는 오버랩 갭 성질(OGP)의 시작을 나타낸다.
• $\alpha > \alpha^*$에서 OGP가 발생하는 것은 알고리즘적 난이도의 시작을 시사하며, 평균 값 $\geq (1+o(1))\alpha\sqrt{2\log n/k}$를 갖는 부분행렬을 찾는 데 다항시간 알고리즘이 존재하지 않을 것임을 암시한다.
• 논문은 $5\sqrt{2}/(3\sqrt{3})$ 임계점을 넘어서기 위해서는 다중오버랩 구조를 포함하는 새로운 알고리즘 기법이 필요할 수 있음을 제안한다.