[논문 리뷰] Improved Analyses of the Randomized Power Method and Block Lanczos Method

Shusen Wang, Zhihua Zhang외 1명|arXiv (Cornell University)|2015. 08. 26.

Stochastic Gradient Optimization Techniques참고 문헌 16인용 수 13

한 줄 요약

이 논문은 체비셰프 다항식과 크릴로프 부분공간 투영 기반의 새로운 분석 기법을 사용하여 낮은 질량 행렬 근사에서 랜덤화된 거듭제곱 방법과 블록 랑크조스 방법에 대한 개선된 오차 한계를 제시한다. 따뜻한 초기화가 적용된 블록 랑크조스 방법에 대해 처음으로 스펙트럴 노름 기반의 갭 독립 오차 한계를 확립하여 이전 연구에 비해 수렴 보장을 크게 강화한다.

ABSTRACT

The power method and block Lanczos method are popular numerical algorithms for computing the truncated singular value decomposition (SVD) and eigenvalue decomposition problems. Especially in the literature of randomized numerical linear algebra, the power method is widely applied to improve the quality of randomized sketching, and relative-error bounds have been well established. Recently, Musco & Musco (2015) proposed a block Krylov subspace method that fully exploits the intermediate results of the power iteration to accelerate convergence. They showed spectral gap-independent bounds which are stronger than the power method by order-of-magnitude. This paper offers novel error analysis techniques and significantly improves the bounds of both the randomized power method and the block Lanczos method. This paper also establishes the first gap-independent bound for the warm-start block Lanczos method.

연구 동기 및 목표

• 트uncated SVD 및 고유값 문제에서 랜덤화된 거듭제곱 방법과 블록 랑크조스 방법에 대해 더 날카운, 갭 독립 오차 한계를 제공하기 위해.
• 기존의 스펙트럴 갭에 의존하는 상대 오차 한계의 한계를 해결하기 위해, 이는 실무에서 성능이 열 劣할 수 있음.
• 따뜻한 초기화가 적용된 블록 랑크조스 방법에 대해 처음으로 갭 독립 오차 한계를 확립하여 수렴 보장을 향상시키기 위해.
• I/O 비용이 지배적인 대규모 데이터 응용 분야에서 블록 크기와 스케칭 효율성의 역할을 분석하기 위해.
• 중간 거듭제곱 반복 결과를 크릴로프 부분공간 스케치로 사용하는 데 이론적 기반을 제공하여 재직도화 없이도 수렴성을 향상시키기 위해.

제안 방법

• 중간 거듭제곱 반복에 의해 형성된 크릴로프 부분공간 $\mathbf{K} = [\mathbf{M}\mathbf{X}, (\mathbf{M}\mathbf{M}^T)\mathbf{M}\mathbf{X}, \dots, (\mathbf{M}\mathbf{M}^T)^d\mathbf{M}\mathbf{X}]$ 을 표준 랜덤 프로젝션 대신 $\mathbf{M}$ 의 스케치로 사용한다.
• 체비셰프 다항식 근사 이론을 적용하여 크릴로프 부분공간이 $\mathbf{M}$ 의 상위 $k$-차원 특이 부분공간을 높은 정확도로 포괄함을 보여준다.
• canonical 각도의 탄젠트 $\tan \theta(\mathbf{V}_1, \mathbf{X}\mathbf{Z})$ 를 사용한 새로운 행렬 편향 분석을 도입하여 잔차 오차를 제한한다.
• 참고문헌 [2]의 레마 3.1의 변종을 사용하여 스케치 위에 $\mathbf{M}_1$ 의 프로젝션 오차를 제한하고, 이는 잔차 $\mathbf{M}_2 + \mathbf{M}_3$ 의 노름과 관련이 있음을 보여준다.
• 스펙트럴 노름과 프로베니우스 노름 양쪽 모두에서 오차 한계를 유도하여 이전의 $ (1+\epsilon)\sigma_{k+1}^2 $ 한계를 $ \sigma_{k+1}^2 + \epsilon \sigma_{p+1}^2 $ 로 향상시켰다.
• 블록 크기 $p$ 와 반복 횟수 $d$ 사이의 상호 교환 관계를 분석하여, 더 큰 $p$ 는 반복 횟수를 줄이고 대규모 데이터 환경에서 I/O 효율성을 향상시킴을 보여준다.

실험 결과

연구 질문

• RQ1 랜덤화된 거듭제곱 방법의 수렴성을 기존의 표준 $ (1+\epsilon)\sigma_{k+1}^2 $ 스펙트럴 오차 한계를 초월해 향상시킬 수 있는가?
• RQ2 특히 따뜻한 초기화 설정에서 블록 랑크조스 방법에 대해 갭 독립 오차 한계를 확립할 수 있는가?
• RQ3 중간 거듭제곱 반복 결과를 크릴로프 부분공간 스케치로 사용할 경우 근사 정확도와 수렴 속도에 어떤 영향을 미치는가?
• RQ4 대규모 저차원 근사에서 블록 크기 $p$ 는 총 계산 비용과 수치적 안정성에 어떤 영향을 미치는가?
• RQ5 체비셰프 다항식을 통한 크릴로프 부분공간 투영의 이론적 분석을 확장하여 기존의 랜덤화 SVD 방법보다 더 날카운 오차 한계를 제공할 수 있는가?

주요 결과

• 논문은 랜덤화된 거듭제곱 방법의 스펙트럴 노름 오차 한계를 $ (1+\epsilon)\sigma_{k+1}^2 $ 에서 $ \sigma_{k+1}^2 + \epsilon \sigma_{p+1}^2 $ 로 개선하여 더 날카우며 갭 독립임을 입증한다.
• 따뜻한 초기화가 적용된 블록 랑크조스 방법에 대해 처음으로 갭 독립 상대 오차 한계를 확립하여, $ d = \mathcal{O}(\log n / \sqrt{\epsilon}) $ 반복으로 스펙트럴 노름에서 $ (1+\epsilon) $-상대 오차를 달성할 수 있음을 보여준다.
• 분석 결과, 재직도화 없이도 중간 거듭제곱 반복에 의해 형성된 크릴로프 부분공간이 $\mathbf{M}$ 의 상위 $k$-차원 부분공간을 매우 정확하게 포괄함을 확인하였다.
• 큰 블록 크기 $p \geq k$ 를 사용함으로써 데이터에 대한 통과 횟수를 줄이고 I/O 비용을 최소화함으로써 대규모 데이터 환경에서 패ass 효율성을 달성한다.
• 오차 한계는 $ \|\mathbf{M}_3\|_\xi^2 \tan^2 \theta(\mathbf{V}_1, \mathbf{X}\mathbf{Z}) $ 에 의존하며, 이는 스케치와 진짜 부분공간 간의 정렬 정도를 정량화하여 보다 정교한 오차 특성화를 제공한다.
• 이론적 프레임워크는 수치적 불안정성이 덜 우려되는 저정밀도 환경에서의 실용적 적용을 지원하며, 무스코 및 무스코의 접근 방식의 경험적 성공을 추가적인 수치 안정화 없이도 검증한다.