[논문 리뷰] Spectral norm of products of random and deterministic matrices

Roman Vershynin|arXiv (Cornell University)|2008. 12. 12.

Random Matrices and Applications참고 문헌 27인용 수 4

한 줄 요약

이 논문은 $ A $가 독립적이고 평균이 0인 항목을 가지며 $ (4+\varepsilon) $-번째 모멘트가 유한한 $ N \times n $ 랜덤 행렬이고, $ B $가 $ \|B\| \leq 1 $인 고정된 $ m \times N $ 행렬일 때, 행렬의 곱 $ W = BA $의 스펙트럴 노름이 기대값에서 $ C(\varepsilon)(\sqrt{m} + \sqrt{n}) $ 이하로 유계임을 확립한다. 이 결과는 이러한 구조적 랜덤 행렬이 최소한의 모멘트 조건 하에서 i.i.d. 랜덤 행렬과 스펙트럴 노름 측면에서 유사하게 행동함을 보이며, 이전의 랜덤 행렬의 최소 특이값에 대한 경계를 확장한다.

ABSTRACT

We study the spectral norm of matrices M that can be factored as M=BA, where A is a random matrix with independent mean zero entries, and B is a fixed matrix. Under the (4+epsilon)-th moment assumption on the entries of A, we show that the spectral norm of such an m by n matrix M is bounded by \sqrt{m} + \sqrt{n}, which is sharp. In other words, in regard to the spectral norm, products of random and deterministic matrices behave similarly to random matrices with independent entries. This result along with the previous work of M. Rudelson and the author implies that the smallest singular value of a random m times n matrix with i.i.d. mean zero entries and bounded (4+epsilon)-th moment is bounded below by \sqrt{m} - \sqrt{n-1} with high probability.

연구 동기 및 목표

• i.i.d. 랜덤 행렬에 대한 정밀한 스펙트럴 노름 경계를 랜덤 및 고정 행렬의 곱으로 확장하기.
• $ A $가 독립적이고 평균이 0인 항목을 가지며 $ (4+\varepsilon) $-번째 모멘트가 1 이하로 유계인 경우, $ W = BA $의 스펙트럴 노름을 분석하기.
• 이러한 곱의 스펙트럴 노름이 $ C(\varepsilon)(\sqrt{m} + \sqrt{n}) $ 이하로 유계임을 확립하며, 중간 차원 $ N $ 에 따라 달라지지 않음을 보장하기.
• Rudelson과 Vershynin에 의해 시작된 랜덤 직사각형 행렬의 최소 특이값 분석을 완성하기.

제안 방법

• 행렬 $ B $의 열들의 $ \ell^2 $-노름에 따라 큰 열과 작은 열로 분해한다.
• 조건부 모멘트 방법을 적용: $ A $의 최대 항목이 유계임을 조건으로 두어 독립성과 모멘트를 제어한다.
• 마르코프 부등식을 통한 절단 기법을 사용해 행렬 항목의 尾확률을 제어한다.
• 행렬 항목이 유계임을 전제로 한 조건부로 코로나리얼 4.2(유계 항목을 가진 행렬의 모멘트 경계)를 적용한다.
• 넷 기반 접근과 대칭화를 사용해 모멘트 조건 하에서 스펙트럴 노름을 유계로 제한한다.
• 큰 열 및 작은 열 부분행렬에 대한 추정치를 삼각부등식을 통해 결합한다: $ \|BA\| \leq \|B_I A_I\| + \|B_{I^c} A_{I^c}\| $.

실험 결과

연구 질문

• RQ1 만약 $ A $가 독립적이고 평균이 0인 항목을 가지며 $ B $가 고정된 행렬이라면, $ (4+\varepsilon) $-번째 모멘트 조건 하에서 $ W = BA $의 스펙트럴 노름이 $ C(\varepsilon)(\sqrt{m} + \sqrt{n}) $ 이하로 유계가 될 수 있는가?
• RQ2 입력 항목이 인수분해로 인해 의존성이 생기더라도, 이러한 구조적 랜덤 행렬의 스펙트럴 노름이 i.i.d. 랜덤 행렬과 유사하게 행동하는가?
• RQ3 이 경계는 중간 차원 $ N $, 즉 랜덤 행렬 $ A $의 크기와 무관하게 유지될 수 있는가?
• RQ4 이 결과는 랜덤 행렬의 최소 특이값 분석을 어떻게 확장하는가?

주요 결과

• $ W = BA $의 기대 스펙트럴 노름은 $ \mathbb{E}\|W\| \leq C(\varepsilon)(\sqrt{m} + \sqrt{n}) $ 를 만족하며, 여기서 $ C(\varepsilon) $ 는 $ \varepsilon $ 에만 의존한다.
• 경계는 날카롭고 중간 차원 $ N $ 에 따라 달라지지 않으며, 심지어 $ N \gg m,n $ 일 때도 성립한다.
• 이 결과는 이러한 경계에 필수적인 것으로 알려진 최소한의 $ (4+\varepsilon) $-번째 모멘트 가정 하에서 성립한다.
• 증명 과정은 더 강력한 추정치를 도출한다: $ \mathbb{E}\|W\| \leq C(\varepsilon)(\|B\|\sqrt{n} + \|B\|_{\rm{HS}}) $, 이는 임의의 $ B $에 대해 유효하다.
• 결과적으로, $ (4+\varepsilon) $-번째 모멘트가 유계인 i.i.d. 항목을 가진 $ m \times n $ 랜덤 행렬의 최소 특이값은 고확률로 $ \sqrt{m} - \sqrt{n-1} $ 이상으로 유계임을 시사한다.
• 분석은 $ \Sigma = \frac{1}{n}WW^* $ 형태의 표본 공분산 행렬에 적용되며, $ \Sigma $ 의 최대 고유값이 $ C_1(\varepsilon)(1 + m/n) $ 이하로 유계임을 보여준다.