[논문 리뷰] Energy Landscape for large average submatrix detection problems in Gaussian random matrices

Shankar Bhamidi, Partha S. Dey외 1명|arXiv (Cornell University)|2012. 11. 10.

Random Matrices and Applications참고 문헌 31인용 수 8

한 줄 요약

이 논문은 $n \times n$ 가우시안 랜덤 행렬에서 큰 평균 부분행렬에 대한 엄밀한 점근적 분석을 제공하며, 전역 최대값과 국소 최대값에 중점을 둔다. 새로운 버전의 스텐의 방법을 사용하여 국소 최대값 수에 대한 중심극한정리(central limit theorem)를 수립하여, 국소 최대값의 평균 수가 $\Theta(n^k / (\log n)^{(k-1)/2})$ 비례함을 보이고, 그들의 일반적인 평균 값이 전역 최대값의 값에 $1/\sqrt{2}$ 배 이내임을 밝혀낸다.

ABSTRACT

The problem of finding large average submatrices of a real-valued matrix arises in the exploratory analysis of data from a variety of disciplines, ranging from genomics to social sciences. In this paper we provide a detailed asymptotic analysis of large average submatrices of an $n imes n$ Gaussian random matrix. The first part of the paper addresses global maxima. For fixed $k$ we identify the average and the joint distribution of the $k imes k$ submatrix having largest average value. As a dual result, we establish that the size of the largest square sub-matrix with average bigger than a fixed positive constant is, with high probability, equal to one of two consecutive integers that depend on the threshold and the matrix dimension $n$. The second part of the paper addresses local maxima. Specifically we consider submatrices with dominant row and column sums that arise as the local optima of iterative search procedures for large average submatrices. For fixed $k$, we identify the limiting average value and joint distribution of a $k imes k$ submatrix conditioned to be a local maxima. In order to understand the density of such local optima and explain the quick convergence of such iterative procedures, we analyze the number $L_n(k)$ of local maxima, beginning with exact asymptotic expressions for the mean and fluctuation behavior of $L_n(k)$. For fixed $k$, the mean of $L_{n}(k)$ is $Θ(n^{k}/(\log{n})^{(k-1)/2})$ while the standard deviation is $Θ(n^{2k^2/(k+1)}/(\log{n})^{k^2/(k+1)})$. Our principal result is a Gaussian central limit theorem for $L_n(k)$ that is based on a new variant of Stein's method.

연구 동기 및 목표

• 주어진 $n \times n$ 가우시안 랜덤 행렬에서 가장 큰 평균을 가진 $k \times k$ 부분행렬의 점근적 행동을 분석하는 것.
• 고정된 $k$에 대해 전역 최대값 부분행렬의 공동 분포와 점근적 평균 값을 특성화하는 것.
• 반복적 탐색 알고리즘과 관련된, 지배적인 행과 열 합을 가진 국소 최대값을 연구하는 것.
• 국소 최대값의 기대값과 분산인 $L_n(k)$에 대한 정밀한 점근적 표현식을 유도하는 것.
• 강한 상관관계를 가진 국소 최적값들 간의 복잡한 의존성에도 불구하고, $L_n(k)$에 대한 중심극한정리를 증명하기 위해 스텐의 방법의 새로운 변형을 도입하는 것.

제안 방법

• 전역 최대값 부분행렬의 분포를 분석하기 위해 정밀화된 가우시안 비교 부등식을 사용한다.
• 극값 이론을 적용하여, 고정된 임계값을 초과하는 가장 큰 부분행렬의 크기가 두 점에 집중됨을 보인다.
• 국소 최대값을 지배적인 행과 열 합을 가진 부분행렬로 정의하여, 반복적 이분클러스터링 알고리즘의 고정점 모델링을 한다.
• $\mathbb{E}[L_n(k)]$와 $\mathrm{Var}(L_n(k))$에 대한 정확한 점근적 표현식을 도출하여, 장거리 상관관계로 인한 비표준 스케일링을 드러낸다.
• 강한 의존성에도 불구하고, $L_n(k)$에 대한 중심극한정리를 증명하기 위해 스텐의 방법의 새로운 변형을 도입한다.
• 다양한 겹침을 가진 부분행렬 간의 조건부 모멘트 계산과 공분산 상한을 사용하여 분산 항을 제어한다.

실험 결과

연구 질문

• RQ1 주어진 $n \times n$ 가우시안 랜덤 행렬에서 평균이 가장 큰 $k \times k$ 부분행렬의 점근적 평균 값과 공동 분포는 무엇인가?
• RQ2 고정된 양수 상수를 초과하는 평균을 가진 가장 큰 $k \times k$ 부분행렬의 일반적인 크기는 얼마인가?
• RQ3 주어진 $n \times n$ 가우시안 랜덤 행렬에서 국소 최대값은 몇 개인가, 그리고 어떻게 분포되어 있는가?
• RQ4 $L_n(k)$의 수의 점근적 행동은 어떠한가, 그리고 중심극한정리를 만족하는가?
• RQ5 일반적인 국소 최대값의 평균 값은 전역 최대값의 평균 값과 얼마나 가까운가?

주요 결과

• 고정된 $k$에 대해 국소 최대값의 기대값인 $\mathbb{E}[L_n(k)]$는 $\Theta\left(\frac{n^k}{(\log n)^{(k-1)/2}}\right)$ 비례한다.
• $L_n(k)$의 분산은 $\mathrm{Var}(L_n(k)) = \Theta\left(\left(\frac{n}{\sqrt{\log n}}\right)^{2k^2/(k+1)}\right)$ 비례하며, 이는 국소 최적값들 간의 강한 상관관계를 반영한다.
• $L_n(k)$에 대해 중심극한정리가 성립하며, 복잡한 의존성에도 불구하고 새로운 스텐의 방법의 변형을 통해 증명되었다.
• 일반적인 국소 최대값의 평균 값은 전역 최대값의 평균 값에 $1/\sqrt{2}$ 배 이내이다.
• 공통 행 또는 열을 갖지 않는 국소적으로 최적인 부분행렬의 수는 분산에 거의 기여하지 않으며, 주로 겹치는 쌍들에서 기여가 발생한다.
• 논문은 평균이 고정된 임계값을 초과하는 가장 큰 부분행렬의 크기에 대해 두 점 집중을 확립하여, 거의 확실히 두 개의 연속된 정수 중 하나임을 보였다.