[논문 리뷰] The Spectrum of Random Inner-product Kernel Matrices

Xiuyuan Cheng, Amit Singer|arXiv (Cornell University)|2012. 02. 14.

Random Matrices and Applications참고 문헌 13인용 수 5

한 줄 요약

이 논문은 고차원 극한 $ n,p \to \infty $ 이면서 $ p/n = \gamma $ 인 조건에서, $ A_{ij} = f(X_i^T X_j) $ 형태의 큰 무작위 내적 커널 행렬의 점근 스펙트럼 분포를 연구한다. 여기서 $ X_i \sim \mathcal{N}(0, p^{-1}I_p) $ 이다. 적절한 스케일링 하에 스펙트럼 밀도가 약한 수렴을 보이며, 스텔리지스 변환을 포함하는 삼차방정식으로 특징지어지는 점근 분포로 수렴함을 입증한다. 이는 매끄럽지 않은 커널, 즉 원점에서 불연속인 함수를 포함한 경우에도 마르첸코-파스트르 법칙을 일반화한다.

ABSTRACT

We consider n-by-n matrices whose (i, j)-th entry is f(X_i^T X_j), where X_1, ...,X_n are i.i.d. standard Gaussian random vectors in R^p, and f is a real-valued function. The eigenvalue distribution of these random kernel matrices is studied at the "large p, large n" regime. It is shown that, when p and n go to infinity, p/n = γwhich is a constant, and f is properly scaled so that Var(f(X_i^T X_j)) is O(p^{-1}), the spectral density converges weakly to a limiting density on R. The limiting density is dictated by a cubic equation involving its Stieltjes transform. While for smooth kernel functions the limiting spectral density has been previously shown to be the Marcenko-Pastur distribution, our analysis is applicable to non-smooth kernel functions, resulting in a new family of limiting densities.

연구 동기 및 목표

• 스케일링이 적절한 조건 하에서, $ X_i \in \mathbb{R}^p $ 이며 i.i.d. $ \mathcal{N}(0, p^{-1}I_p) $ 인 $ n \times n $ 랜덤 커널 행렬 $ A_{ij} = f(X_i^T X_j) $ 의 점근 스펙트럼 분포를 특성화하는 것.
• 비매끄러운 커널 함수 $ f $, 특히 원점에서 불연속인 함수를 포함하여 마르첸코-파스트르 법칙을 새로운 점근 스펙트럼 밀도 가족을 유도하여 일반화하는 것.
• 비매끄러운 $ f $ 에 대해서도, 스케일드 에르미트 다항식 전개를 사용하여 경험적 스펙트럼 측도가 결정론적 극한으로 약한 수렴함을 입증하는 것.
• 점근 스펙트럼 밀도를 결정짓는 매개변수를 규명하는 것: $ \nu = \lim p \cdot \mathrm{Var}(f(X_i^T X_j)) $, $ a $ (선형 에르미트 항 계수), 및 $ \gamma = p/n $.

제안 방법

• 경험적 스펙트럼 측도의 스텔리지스 변환을 사용하여 점근 스펙트럼 분포를 분석한다.
• 커널 함수 $ f $ 의 스케일드 에르미트 다항식 전개를 사용하며, 선형 항 계수 $ a $ 와 고차항에 중점을 둔다.
• 모멘트 한계와 농도 불등식을 적용하여 비선형 및 고차 에르미트 성분에서 발생하는 오차 항을 통제한다.
• 점근 스펙트럼 측도의 스텔리지스 변환 $ m(z) $ 를 포함하는 삼차방정식을 유도한다: $ \nu m(z)^3 + (a - \gamma) m(z)^2 + (1 - \gamma) m(z) + 1 = 0 $, 이는 점근 밀도를 특성화한다.
• 꼬리 행동을 통제하고 기대값 수렴을 보장하기 위해 조건부 기대값과 절단 기법(예: $ \Omega_\delta $ 에서의 절단)을 구현한다.
• 모멘트의 渐近 전개를 활용하여 $ |X|^2 $ 와 $ X_i^T X_j $ 의 기대값을 유도하며, $ \mathbb{E}|X|^{2m} = 1 + \mathcal{O}_m(1)p^{-1} $ 이라는 결과를 도출하여 에르미트 전개 근사의 타당성을 입증한다.

실험 결과

연구 질문

• RQ1 커널 함수 $ f $ 가 비매끄럽거나 불연속일 경우, 고차원 극한 $ n,p \to \infty $ 이면서 $ p/n = \gamma $ 일 때, 랜덤 내적 커널 행렬의 스펙트럼 분포는 어떻게 행동하는가?
• RQ2 마르첸코-파스트르 법칙은 비매끄러운 $ f $ 를 가진 커널 행렬로 일반화될 수 있는가? 만약 가능하다면, 점근 스펙트럼 밀도의 형태를 결정짓는 요소는 무엇인가?
• RQ3 커널 함수 $ f $ 의 에르미트 전개에서 선형 계수 $ a $ 는 점근 스펙트럼 밀도의 형태에 어떤 역할을 하는가?
• RQ4 분산 스케일링 $ \mathrm{Var}(f(X_i^T X_j)) = \mathcal{O}(p^{-1}) $ 는 스펙트럼 측도의 수렴에 어떤 영향을 미치는가?
• RQ5 점근 스펙트럼 측도의 스텔리지스 변환을 만족하는 정확한 대수 방정식은 무엇인가?

주요 결과

• 적절한 스케일링 조건 하에, $ p,n \to \infty $ 이면서 $ p/n = \gamma $ 인 조건에서, $ \mathrm{Var}(f(X_i^T X_j)) = \mathcal{O}(p^{-1}) $ 를 만족하도록 스케일링된 $ f $ 에 대해 점근 스펙트럼 밀도가 약한 수렴을 보이며 결정론적 분포로 수렴한다.
• 점근 스펙트럼 밀도는 스텔리지스 변환에 대한 삼차방정식으로 특징지어지며, $ \nu m(z)^3 + (a - \gamma) m(z)^2 + (1 - \gamma) m(z) + 1 = 0 $ 이다. 여기서 $ \nu $ 와 $ a $ 는 커널 함수 $ f $ 에서 유도된 매개변수이다.
• 매개변수 $ \nu $ 는 점근 밀도를 스케일링하며, $ p \cdot \mathrm{Var}(f(X_i^T X_j)) $ 의 극한이다. 반면 $ a $ 는 선형 에르미트 계수를 통해 밀도의 형태를 결정짓는다.
• 매끄러운 $ f $ 의 경우 점근 밀도는 마르첸코-파스트르 분포로 축소되며, 이는 본 결과가 고전적 경우를 일반화함을 보여준다.
• 커널 함수 $ f $ 가 가중 $ L^2 $ 공간에 속하고 에르미트 전개에 대한 기술적 조건을 만족한다면, 원점에서 불연속이어도 수렴이 성립함을 보여준다.
• 모멘트 한계와 절단 추론(예: $ \Omega_\delta $ 에서의 절단)을 통해 오차 항이 $ p \to \infty $ 일 때 사라짐을 보이며, $ \mathbb{E}|r_2| \cdot \mathbf{1}_{\Omega_\delta} = \mathcal{O}_L(1) M^2 p^{-1/2} $ 라는 결과를 도출하여 渐近 안정성을 확인한다.