[论文解读] Limiting Spectrum of Randomized Hadamard Transform and Optimal Iterative Sketching Methods

Jonathan Lacotte, Sifan Liu+2 more|arXiv (Cornell University)|Jan 1, 2020

Random Matrices and Applications被引用 6

一句话总结

本文通过Stieltjes变换对随机化Hadamard矩阵和Haar矩阵的极限谱进行了精确的渐近分析，实现了对最小二乘问题中迭代压缩方法的精确表征。研究推导出闭式表达的最优步长和收敛速率，表明Haar矩阵和随机化Hadamard矩阵在相同收敛行为下均优于高斯投影。

ABSTRACT

We provide an exact analysis of the limiting spectrum of matrices randomly projected either with the subsampled randomized Hadamard transform, or truncated Haar matrices. We characterize this limiting distribution through its Stieltjes transform, a classical object in random matrix theory, and compute the first and second inverse moments. We leverage the limiting spectrum and asymptotic freeness of random matrices to obtain an exact analysis of iterative sketching methods for solving least squares problems. Our results also yield optimal step-sizes and convergence rates in terms of simple closed-form expressions. Moreover, we show that the convergence rate for Haar and randomized Hadamard matrices are identical, and uniformly improve upon Gaussian random projections. The developed techniques and formulas can be applied to a plethora of randomized algorithms that employ fast randomized Hadamard dimension reduction.

研究动机与目标

• 通过随机矩阵理论的工具，表征子采样随机化Hadamard矩阵和截断Haar矩阵的极限谱分布。
• 推导极限谱分布的一阶和二阶逆矩的精确表达式。
• 利用渐近自由性和谱分析，对最小二乘问题的迭代压缩方法提供精确的收敛性分析。
• 以闭式表达推导迭代压缩算法的最优步长和收敛速率。
• 从收敛速率角度，比较Haar、随机化Hadamard和高斯随机投影的性能。

提出的方法

• 使用Stieltjes变换表征随机投影矩阵的极限谱分布。
• 通过随机矩阵理论中的解析技术，计算极限谱测度的一阶和二阶逆矩。
• 应用渐近自由性结果，将迭代压缩方案的行为与投影矩阵的谱特性联系起来。
• 基于推导出的谱矩，推导迭代压缩方法的精确收敛速率和最优步长。
• 通过谱分析比较Haar、随机化Hadamard和高斯投影在收敛性能上的差异。
• 基于极限谱分布，推导步长和收敛速率的闭式表达式。

实验结果

研究问题

• RQ1 通过子采样随机化Hadamard变换投影的矩阵，其精确极限谱分布是什么？
• RQ2 对于随机化Hadamard和Haar矩阵，极限谱的一阶和二阶逆矩行为如何？
• RQ3 使用这些投影矩阵的迭代压缩方法，其最优步长和收敛速率是什么？
• RQ4 Haar和随机化Hadamard矩阵的收敛性能与高斯投影相比如何？
• RQ5 能否利用这些矩阵的谱特性，为迭代最小二乘求解器推导出精确的收敛保证？

主要发现

• 通过其Stieltjes变换，精确表征了子采样随机化Hadamard矩阵和截断Haar矩阵的极限谱分布。
• 极限谱测度的一阶和二阶逆矩以闭式表达计算得出，为精确的算法分析提供了支持。
• Haar矩阵和随机化Hadamard矩阵的收敛速率完全相同，且一致优于高斯随机投影的收敛速率。
• 基于谱矩，以简洁的闭式表达推导出迭代压缩的最优步长和收敛速率。
• 所提出的框架可广泛应用于采用快速Hadamard基降维的随机化算法。