[논문 리뷰] A generalization of the randomized singular value decomposition

Nicolas Boullé, Alex Townsend|arXiv (Cornell University)|2021. 05. 27.

Stochastic Gradient Optimization Techniques인용 수 4

한 줄 요약

이 논문은 표준 가우시안 벡터를 다변량 가우시안 랜덤 벡터로 대체함으로써 랜덤화된 특이값 분해(SVD)를 일반화한다. 이 다변량 가우시안 분포의 공분산 행렬은 행렬이나 연산자에 대한 사전 지식을 캡슐화할 수 있다. 또한 가우시안 프로세스를 위한 가중치가 부여된 자비에 다항식 기반의 새로운 공분산 커널을 제안하여 샘플링된 함수의 매끄러움을 제어하고, 특히 고계수 힐베르트-슈미트 연산자에 대해 표준 랜덤화 SVD보다 낮은 근사 오차를 달성한다.

ABSTRACT

The randomized singular value decomposition (SVD) is a popular and effective algorithm for computing a near-best rank $k$ approximation of a matrix $A$ using matrix-vector products with standard Gaussian vectors. Here, we generalize the randomized SVD to multivariate Gaussian vectors, allowing one to incorporate prior knowledge of $A$ into the algorithm. This enables us to explore the continuous analogue of the randomized SVD for Hilbert--Schmidt (HS) operators using operator-function products with functions drawn from a Gaussian process (GP). We then construct a new covariance kernel for GPs, based on weighted Jacobi polynomials, which allows us to rapidly sample the GP and control the smoothness of the randomly generated functions. Numerical examples on matrices and HS operators demonstrate the applicability of the algorithm.

연구 동기 및 목표

• 표준 가우시안 벡터를 초월하여 구조화된 공분산 행렬을 통한 사전 지식 통합을 통해 랜덤화 SVD를 확장하는 것.
• 무한차원 힐베르트-슈미트 연산자에 대해 가우시안 프로세스에서 유도된 랜덤 함수를 사용하여 랜덤화 SVD를 일반화하는 것.
• 샘플링된 함수의 매끄러움을 제어할 수 있고 근사 정확도를 향상시킬 수 있는 새로운 공분산 커널을 개발하는 것.
• 비표준 가우시안 입력을 사용할 경우 행렬 및 연산자 설정에서 근사 오차에 대한 이론적 경계를 제공하는 것.
• 수치적으로 사전 지식이 반영된 공분산 선택이 표준 랜덤화 SVD보다 낮은 오차를 낳음을 보여주며, 특히 고정칙성 또는 고랭크 연산자에서 두드러진다.

제안 방법

• 임의의 대칭 양정의 공분산 행렬을 가진 다변량 가우시안 랜덤 벡터를 사용한 행렬-벡터 곱을 통해 랜덤화 SVD를 일반화한다.
• 일반적인 가우시안 입력 분포 하에서 행렬 및 힐베르트-슈미트 연산자에 대한 근사 오차에 대한 새로운 이론적 경계를 유도한다.
• 가중치가 부여된 자비에 다항식 기반의 새로운 공분산 커널을 제안하며, 이는 빠른 샘플링을 위한 명시적 카르누엔-로브 전개를 허용한다.
• 자비에 커널의 카르누엔-로브 전개를 활용하여 정규성 조절이 가능한 매끄러운 랜덤 함수를 효율적으로 생성한다.
• 가우시안 프로세스에서 샘플링하고 랜덤화 SVD를 통해 저랭크 근사를 계산하는 방식으로 적분 커널, 예를 들어 그린 함수를 학습하는 데 이 일반화된 알고리즘을 적용한다.
• 수치 실험에서 커널 고유값과 근사 오차를 고정밀도로 계산하기 위해 Chebfun을 사용한다.

실험 결과

연구 질문

• RQ1 비표준 다변량 가우시안 입력과 구조화된 공분산 행렬을 사용하여 랜덤화 SVD를 일반화함으로써 저랭크 근사 정확도를 향상시킬 수 있는가?
• RQ2 가우시안 프로세스의 공분산 커널 선택이 힐베르트-슈미트 연산자에 대한 랜덤화 SVD의 수렴성과 오차 경계에 미치는 영향은 어떠한가?
• RQ3 가중치가 부여된 자비에 다항식 기반의 새로운 공분산 커널이 표준 커널(예: 제곱지수 커널)보다 더 빠른 샘플링과 더 나은 함수의 매끄러움 제어를 가능하게 하는가?
• RQ4 커널 고유값의 감쇠 속도와 힐베르트-슈미트 연산자에 대한 랜덤화 SVD의 근사 오차 간의 관계는 어떠한가?
• RQ5 공분산 행렬에 사전 지식을 통합할 경우, i.i.d. 가우시안 벡터를 사용하는 표준 랜덤화 SVD보다 낮은 근사 오차를 얻을 수 있는가?

주요 결과

• 사전 지식가운데 공분산 행렬이 반영된 일반화된 랜덤화 SVD는 특히 행렬이나 연산자에 대한 사전 지식이 있을 경우 표준 방법보다 낮은 근사 오차를 달성한다.
• 제안된 자비에 기반 GP 커널은 카르누엔-로브 전개를 통해 직접 샘플링이 가능하여 표준 커널보다 더 빠른 랜덤 함수 생성이 가능하다.
• GP에서 샘플링된 함수의 매끄러움은 커널 고유값의 감쇠 속도 조절을 통해 제어할 수 있으며, 이는 가중치가 부여된 자비에 다항식의 매개변수와 명시적으로 관련되어 있다.
• 수치 실험 결과, k=100일 때 K(2,2)Jac 커널을 사용한 상대적 근사 오차는 KSE 커널 대비 약 45.6배 높지만, k=91일 때 품질 비율은 약 117.8로 이론적 예측을 확인한다.
• 고랭크 적분 커널에 대해 근사 오차가 거의 최적에 가까워지며, 특히 공분산 커널 고유값의 감쇠 속도가 느릴 경우, 최적 성능을 위한 Rissanen 수열과 일치한다.
• 비표준 가우시안 입력을 위한 이론적 경계는 근사 정확도에 대한 확률적 보장을 제공하며, 랜덤화 SVD의 적용 가능 범위를 구조화된 입력 분포로 확장한다.