[논문 리뷰] On Concentration Inequalities for Random Matrix Products

Tarun Kathuria, Satyaki Mukherjee외 1명|arXiv (Cornell University)|2020. 03. 13.

Random Matrices and Applications참고 문헌 4인용 수 4

한 줄 요약

이 논문은 평균이 $\mu$이고 연산자 노름이 $L$ 이하인 i.i.d. $d \times d$ 랜덤 매트릭스 $X_i$ 에 대해, 형태 $\prod_{i=1}^n \left(I + \frac{X_i}{n}\right)$ 를 가진 정규화된 랜덤 매트릭스 곱에 대한 날카운 농도 부등식을 제시한다. 행렬 Doob 마팅게일과 행렬 Freedman 부등식을 사용하여, 상수 인자 수준에서 최적의 $n$ 및 $d$ 의존도를 달성한다. 꼬리 bound 는 $\mathsf{Pr}\left[\left\|f(X_1,\ldots,X_n) - e^{\mu}\right\|_{\mathsf{op}} \geq t\right] \leq 2d \cdot \exp\left(-c n t^2 / (L^2 e^{2L})\right)$ 이며, 상수 인자 수준에서 행렬 Bernstein 부등식과 일치한다.

ABSTRACT

Consider $n$ complex random matrices $X_1,\ldots,X_n$ of size $d imes d$ sampled i.i.d. from a distribution with mean $E[X]=μ$. While the concentration of averages of these matrices is well-studied, the concentration of other functions of such matrices is less clear. One function which arises in the context of stochastic iterative algorithms, like Oja's algorithm for Principal Component Analysis, is the normalized matrix product defined as $\prod\limits_{i=1}^{n}\left(I + \frac{X_i}{n} ight).$ Concentration properties of this normalized matrix product were recently studied by \cite{HW19}. However, their result is suboptimal in terms of the dependence on the dimension of the matrices as well as the number of samples. In this paper, we present a stronger concentration result for such matrix products which is optimal in $n$ and $d$ up to constant factors. Our proof is based on considering a matrix Doob martingale, controlling the quadratic variation of that martingale, and applying the Matrix Freedman inequality of Tropp \cite{TroppIntro15}.

연구 동기 및 목표

• Oja의 PCA 알고리즘과 같은 확률적 반복 알고리즘에서 정규화된 매트릭스 곱에 대한 날카운 농도 경계의 부족을 해결하기 위해.
• Henriksen와 Ward(2020)의 이전 작업에서 사용된 분할 및 그룹화된 항에 대한 행렬 Bernstein 부등식에 기인한 하위 최적의 $\log^2 n$ 인자 문제를 해결하기 위해.
• 행렬 합에 대한 행렬 Bernstein 부등식과 $n$ 및 $d$ 의존도에서 상수 인자 수준에서 일치하는, $\prod_{i=1}^n \left(I + \frac{X_i}{n}\right)$ 에 대한 농도 결과를 수립하기 위해.
• i.i.d. $X_i$ 가 0과 $2L$ 을 동일한 확률로 취하는 하한 예제를 구성하여, 분산 프록시에 대한 $L^2 e^{2L}$ 의존성이 조건이 되는지, 심지어 스칼라 경우에서도 필수적임을 보여주기 위해.

제안 방법

• 각 $X_i$ 를 순차적으로 드러냄에 따라 매트릭스 곱의 증분 변화를 나타내기 위해, 행렬 Doob 마팅게일 $Y_k = \mathbb{E}[f(X_1,\ldots,X_n) \mid X_1,\ldots,X_k] - \mathbb{E}[f(X_1,\ldots,X_n) \mid X_1,\ldots,X_{k-1}]$ 을 구성한다.
• 부분곱성과 $\|X_i\|_{\mathsf{op}} \leq L$ 의 조건을 사용하여, 각 마팅게일 증분의 스펙트럴 노름을 $\frac{2Le^L}{n}$ 이하로 bound 한다.
• 예측 가능한 이차 변동성 $\mathbb{E}[Y_k Y_k^* \mid X_1,\ldots,X_{k-1}]$ 을 제어하여, 그 노름이 최대 $\frac{4L^2 e^{2L}}{n^2}$ 이하임을 보이고, 총 변동성 bound 는 $\frac{4L^2 e^{2L}}{n}$ 이 된다.
• 마팅게일에 대해 Matrix Freedman 부등식(Tropp, 2015) 을 적용하여, 최대 증분 노름과 총 예측 가능한 변동성에 의존하는 꼬리 bound 를 제공한다.
• 조건 $t \leq Le^L \sqrt{\log d / n}$ 하에, 최종 농도 부등식 $\mathsf{Pr}\left[\|f(X_1,\ldots,X_n) - e^\mu\|_{\mathsf{op}} \geq t\right] \leq 2d \cdot \exp\left(-c n t^2 / (L^2 e^{2L})\right)$ 을 유도한다.

실험 결과

연구 질문

• RQ1 정규화된 매트릭스 곱 $\prod_{i=1}^n \left(I + \frac{X_i}{n}\right)$ 의 농도가 $n$ 과 $d$ 에 대해 최적의 의존도를 가지며, 합에 대한 행렬 Bernstein 부등식과 일치하는가?
• RQ2 Henriksen와 Ward(2020)의 이전 결과에서 나타난 $\log^2 n$ 인자 손실은 필수적인가, 아니면 다른 증명 기법으로 피할 수 있는가?
• RQ3 농도 꼬리에서 매트릭스 노름 bound $L$ 에 대한 올바른 의존성은 무엇이며, $L^2 e^{2L}$ 이 $L^2$ 보다 필수적인가?
• RQ4 Matrix Freedman 부등식을 사용하는 마팅게일 기반 접근법이 분할 기반 방법보다 더 날카운 경계를 도출할 수 있는가?
• RQ5 분산 프록시에 $e^{O(L)}$ 인자가 제거될 수 없는가, 심지어 스칼라 경우에서도 그렇단가?

주요 결과

• 논문은 $f(X_1,\ldots,X_n) = \prod_{i=1}^n \left(I + \frac{X_i}{n}\right)$ 의 정규화된 매트릭스 곱에 대해 농도 부등식을 수립하였으며, 꼬리 bound 는 $\mathsf{Pr}\left[\|f(X_1,\ldots,X_n) - e^\mu\|_{\mathsf{op}} \geq t\right] \leq 2d \cdot \exp\left(-c n t^2 / (L^2 e^{2L})\right)$ 이다. 이는 상수 인자 수준에서 $n$ 과 $d$ 에 대해 최적이다.
• 이 bound 는 하위 최적의 $\log^2 n$ 인자 손실이 존재하는 Henriksen와 Ward(2020)의 이전 작업을 피하기 위해, 행렬 Doob 마팅게일과 행렬 Freedman 부등식을 사용하여 도출되었다.
• 각 마팅게일 증분의 스펙트럴 노름은 $\frac{2Le^L}{n}$ 이하로 bound 되며, 총 예측 가능한 이차 변동성은 $\frac{4L^2 e^{2L}}{n}$ 이하로 bound 되며, 이는 Matrix Freedman 적용에 있어 핵심적이다.
• 0과 $2L$ 을 동일한 확률로 취하는 i.i.d. $X_i$ 를 사용한 하한 예제는, 분산 프록시에 대한 $L^2 e^{2L}$ 의존성이 조건이 되며, 심지어 스칼라 곱의 경우에도 필수적임을 보여준다.
• 결과는 $n$ 과 $d$ 의존도에서 합에 대한 행렬 Bernstein 부등식과 일치하며, 오직 $e^{2L}$ 인자로 인한 상수 인자 차이 외에는 동일하다.
• 저자들은 $L$ 으로만 표현된 bound 가 $e^{O(L)}$ 의존성을 제거할 수 없다고 확인하였으며, 이는 스칼라 반례에 의해 입증되었다.