[논문 리뷰] The least singular value of a random square matrix is O(n^{-1/2})

Mark Rudelson, Roman Vershynin|arXiv (Cornell University)|2008. 05. 22.

Random Matrices and Applications참고 문헌 3인용 수 4

한 줄 요약

이 논문은 i.i.d. 서브가우시안 성분을 가진 n×n 랜덤 행렬의 최소 특이값에 대한 상우尾 확률을 설정하며, 높은 확률로 $ s_n(A) = O(n^{-1/2}) $ 임을 증명한다. 소형 확률 추정과 최소공분모 프레임워크를 사용하여, 최소 특이값이 $ \Theta(n^{-1/2}) $ 로 완전히 특성화되었으며, 일반 서브가우시안 집합에 대한 랜덤 행렬 이론에서 오랫동안 제기된 추측을 확인한다.

ABSTRACT

Let A be a matrix whose entries are real i.i.d. centered random variables with unit variance and suitable moment assumptions. Then the smallest singular value of A is of order n^{-1/2} with high probability. The lower estimate of this type was proved recently by the authors; in this note we establish the matching upper estimate.

연구 동기 및 목표

• i.i.d. 서브가우시안 성분을 가진 랜덤 정방행렬의 최소 특이값에 대한 상우尾 확률을 설정하는 것.
• 이전에 증명된 하한과 일치하는 상한을 통해 최소 특이값을 $ \Theta(n^{-1/2}) $ 로 완전히 특성화하는 것.
• von Neumann과 Smale가 제기한 랜덤 행렬의 최소 특이값의 일반적인 크기 주기에 대한 추측을 해결하는 것.
• 소형 확률 프레임워크를 확장하여 랜덤 행렬의 역행렬과 그 특이값을 제어하는 것.

제안 방법

• 최소 특이값과 역행렬의 연산자 노름 사이의 쌍대성: $ s_n(A) = \inf_{\|x\|_2=1} \|Ax\|_2 = 1/\|A^{-1}\| $.
• 비직교 기저와 직교 프로젝션을 사용하여 $ \|A^{-1}x\|_2 $ 를 랜덤 벡터가 랜덤 부분공간으로부터의 거리와 연결한다.
• 최소공분모(LCD)를 사용하여 랜덤 벡터와 부분공간의 산술적 구조를 정량화하고, 소형 확률 추정을 가능하게 한다.
• 집중 불등식과 조건부 확률을 사용하여, 다른 열들의 스트레스에 수직인 성분인 $ x $ 에 대해 $ A^{-1}x $ 의 노름을 제어한다.
• 문헌 [3]의 소형 확률 정리 적용을 통해 i.i.d. 서브가우시안 변수의 선형 조합이 작을 확률을 추정한다.
• 잔차 벡터의 노름과 역이미지 노름에 대한 尾 확률을 마르코프 부등식과 행렬 인덱스에 대한 유니온 바운드를 통해 결합한다.

실험 결과

연구 질문

• RQ1 i.i.d. 서브가우시안 성분을 가진 $ n \times n $ 랜덤 행렬에 대해 최소 특이값 $ s_n(A) $ 의 정확한 주기 크기는 무엇인가?
• RQ2 이전에 증명된 하한 $ s_n(A) = \Omega(n^{-1/2}) $ 와 일치하는 상한이 존재하여, 추측된 $ \Theta(n^{-1/2}) $ 스케일링이 확인될 수 있는가?
• RQ3 최소공분모로 측정된 랜덤 부분공간의 산술적 구조는 i.i.d. 랜덤 변수의 선형 형식에 대한 소형 확률에 어떤 영향을 미치는가?
• RQ4 소형 방법은 랜덤 행렬의 역행렬의 노름을 제어하는 데 얼마나 넓게 확장될 수 있는가?
• RQ5 큰 $ K $ 에 대해 꼬리 확률 $ \mathbb{P}(s_n(A) > K n^{-1/2}) $ 의 정확한 고확률 감소율은 무엇인가?

주요 결과

• 모든 $ K \geq 2 $ 에 대해 $ \mathbb{P}(s_n(A) > K n^{-1/2}) \leq (C/K)\log K + c^n $ 이 성립하며, 상수들은 서브가우시안 모멘트 $ B $ 에 다항적으로 의존한다.
• 상한은 이전에 증명된 하한 $ s_n(A) = \Omega(n^{-1/2}) $ 와 일치하여, $ s_n(A) = \Theta(n^{-1/2}) $ 가 높은 확률로 성립함을 확인한다.
• 결과는 유계, 대칭 $ \pm 1 $, 가우시안 성분을 포함한 서브가우시안 모멘트 조건 하에서도 성립한다.
• 증명은 특정 잔차 벡터 $ x $ 에 대해 $ A^{-1}x $ 의 노름을 최소공분모를 사용하여 제어함으로써 성립하며, 산술 농도를 방지한다.
• 꼬리 확률은 $ K $ 에 대해 다항적으로 감소하고 $ n $ 에 대해 지수적으로 감소하여, $ s_n(A) $ 가 $ n^{-1/2} $ 근처에 강하게 집중되어 있음을 나타낸다.
• 근사화를 통해 네 번째 모멘트 조건으로의 확장 분석이 가능하며, $ \delta $ 와 $ B $ 에 대해 다항적 의존성을 유지하면서 유사한 $ O(n^{-1/2}) $ 상한을 얻는다.