[논문 리뷰] Limiting Spectrum of Randomized Hadamard Transform and Optimal Iterative Sketching Methods

Jonathan Lacotte, Sifan Liu외 2명|arXiv (Cornell University)|2020. 01. 01.

Random Matrices and Applications인용 수 6

한 줄 요약

이 논문은 최소 제곱법을 위한 반복 스케칭 방법의 정밀한 특성화를 가능하게 하는, 무작위화된 하다르드 행렬과 하어 행렬의 한계 스펙트럼에 대한 정확한 渐近 분석을 스티엘체스 변환을 사용하여 제공한다. 이는 닫힌 형태로 최적의 스텝 사이즈와 수렴 속도를 도출하며, 하어 및 무작위화된 하다르드 투영이 동일한 수렴 행동을 보이는 가운데 가우시안 투영보다 우수한 성능을 보임을 보여준다.

ABSTRACT

We provide an exact analysis of the limiting spectrum of matrices randomly projected either with the subsampled randomized Hadamard transform, or truncated Haar matrices. We characterize this limiting distribution through its Stieltjes transform, a classical object in random matrix theory, and compute the first and second inverse moments. We leverage the limiting spectrum and asymptotic freeness of random matrices to obtain an exact analysis of iterative sketching methods for solving least squares problems. Our results also yield optimal step-sizes and convergence rates in terms of simple closed-form expressions. Moreover, we show that the convergence rate for Haar and randomized Hadamard matrices are identical, and uniformly improve upon Gaussian random projections. The developed techniques and formulas can be applied to a plethora of randomized algorithms that employ fast randomized Hadamard dimension reduction.

연구 동기 및 목표

• 무작위 행렬 이론의 도구를 사용하여 부분 표본화된 무작위 하다르드 행렬과 잘라낸 하어 행렬의 한계 스펙트럼 분포를 특성화하는 것.
• 한계 스펙트럼 분포의 첫 번째 및 두 번째 역모멘트에 대한 정확한 표현을 도출하는 것.
• 점점 풀리게 되는 자유성과 스펙트럼 분석을 활용하여 최소 제곱 문제를 위한 반복 스케칭 방법의 정밀한 수렴 분석을 제공하는 것.
• 반복 스케칭 알고리즘에 대한 최적의 스텝 사이즈와 수렴 속도를 닫힌 형태의 표현으로 식별하는 것.
• 수렴 속도 측면에서 하어, 무작위 하다르드, 그리고 가우시안 무작위 투영의 성능을 비교하는 것.

제안 방법

• 무작위 투영 행렬의 한계 스펙트럼 분포를 특성화하기 위해 스티엘체스 변환의 사용.
• 무작위 행렬 이론의 분석 기법을 통해 한계 스펙트럼 측도의 첫 번째 및 두 번째 역모멘트 계산.
• 점점 풀리게 되는 자유성 결과를 적용하여 반복 스케칭 방법의 행동을 투영 행렬의 스펙트럼 특성과 연결하는 것.
• 유도된 스펙트럼 모멘트를 사용하여 반복 스케칭 방법의 정확한 수렴 속도와 최적의 스텝 사이즈 유도.
• 스펙트럼 분석을 통한 하어, 무작위 하다르드, 가우시안 투영 간의 수렴 성능 비교.
• 한계 스펙트럼 분포를 기반으로 한 스텝 사이즈와 수렴 속도에 대한 닫힌 형태의 표현 개발.

실험 결과

연구 질문

• RQ1 부분 표본화된 무작위 하다르드 변환을 통해 투영된 행렬의 정확한 한계 스펙트럼 분포는 무엇인가요?
• RQ2 무작위 하다르드 및 하어 행렬의 한계 스펙트럼에 대한 첫 번째 및 두 번째 역모멘트는 어떻게 행동합니까?
• RQ3 이러한 투영 행렬을 사용한 반복 스케칭 방법의 최적 스텝 사이즈와 수렴 속도는 무엇입니까?
• RQ4 하어 및 무작위 하다르드 행렬의 수렴 성능은 가우시안 투영과 비교해 볼 때 어떻게 다릅니까?
• RQ5 이 행렬의 스펙트럼 특성을 활용하여 반복 최소 제곱 해법에 대한 정확한 수렴 보장을 도출할 수 있습니까?

주요 결과

• 부분 표본화된 무작위 하다르드 및 잘라낸 하어 행렬의 한계 스펙트럼 분포는 그 스티엘체스 변환을 통해 정확히 특성화된다.
• 한계 스펙트럼 측도의 첫 번째 및 두 번째 역모멘트는 닫힌 형태로 계산되어 정밀한 알고리즘 분석이 가능해진다.
• 하어 및 무작위 하다르드 행렬의 수렴 속도는 동일하며, 가우시안 무작위 투영보다 균일하게 뛰어나다.
• 스펙트럼 모멘트를 기반으로 한 간단한 닫힌 형태의 표현으로 반복 스케칭에 대한 최적의 스텝 사이즈와 수렴 속도가 도출된다.
• 개발된 프레임워크는 빠른 하다르드 기반 차원 감소를 활용하는 무작위 알고리즘에 광범위하게 적용 가능하다.