[論文レビュー] Limiting Spectrum of Randomized Hadamard Transform and Optimal Iterative Sketching Methods

Jonathan Lacotte, Sifan Liu+2 more|arXiv (Cornell University)|Jan 1, 2020

Random Matrices and Applications被引用数 6

ひとこと要約

この論文は、Stieltjes変換を用いて、ランダム化ハダマード行列およびハア行列の極限スペクトルの正確な漸近的解析を提供し、最小二乗法における反復的スケッチ法の正確な特徴付けを可能にする。閉形式で最適なステップサイズと収束速度が導出され、ハア行列およびランダム化ハダマード行列の両方が、同一の収束挙動を示しながらガウス行列の投影を上回ることを示している。

ABSTRACT

We provide an exact analysis of the limiting spectrum of matrices randomly projected either with the subsampled randomized Hadamard transform, or truncated Haar matrices. We characterize this limiting distribution through its Stieltjes transform, a classical object in random matrix theory, and compute the first and second inverse moments. We leverage the limiting spectrum and asymptotic freeness of random matrices to obtain an exact analysis of iterative sketching methods for solving least squares problems. Our results also yield optimal step-sizes and convergence rates in terms of simple closed-form expressions. Moreover, we show that the convergence rate for Haar and randomized Hadamard matrices are identical, and uniformly improve upon Gaussian random projections. The developed techniques and formulas can be applied to a plethora of randomized algorithms that employ fast randomized Hadamard dimension reduction.

研究の動機と目的

• ランダム行列理論のツールを用いて、部分抽出されたランダム化ハダマード行列および切断されたハア行列の極限スペクトル分布を特徴付ける。
• 極限スペクトル分布の一次および二次逆モーメントの正確な式を導出する。
• 漸近的自由性およびスペクトル解析を活用して、最小二乗問題に対する反復的スケッチ法の正確な収束解析を提供する。
• 反復的スケッチアルゴリズムの最適なステップサイズおよび収束速度を閉形式で同定する。
• 収束速度の観点から、ハア行列、ランダム化ハダマード行列、およびガウス行列のランダム投影の性能を比較する。

提案手法

• ランダム投影行列の極限スペクトル分布を特徴付けるためにStieltjes変換の使用。
• ランダム行列理論における解析的手法を用いて、極限スペクトル測度の一次および二次逆モーメントの計算。
• 漸近的自由性の結果を応用し、反復的スケッチスキームの挙動を投影行列のスペクトル特性に関連付ける。
• 導出されたスペクトルモーメントを用いて、反復的スケッチ法の正確な収束速度および最適なステップサイズを導出する。
• スペクトル解析を通じて、ハア行列、ランダム化ハダマード行列、およびガウス行列の間の収束性能を比較する。
• 極限スペクトル分布に基づいて、ステップサイズおよび収束速度の閉形式表現を開発する。

実験結果

リサーチクエスチョン

• RQ1 部分抽出されたランダム化ハダマード変換を用いて投影された行列の正確な極限スペクトル分布は何か？
• RQ2 ランダム化ハダマード行列およびハア行列の極限スペクトルの一次および二次逆モーメントはどのように振る舞うか？
• RQ3 これらの投影行列を用いた反復的スケッチ法の最適なステップサイズおよび収束速度は何か？
• RQ4 ハア行列およびランダム化ハダマード行列の収束性能は、ガウス行列の投影と比べてどう異なるか？
• RQ5 これらの行列のスペクトル特性を用いて、反復的最小二乗ソルバーの正確な収束保証を導出できるか？

主な発見

• 部分抽出されたランダム化ハダマード行列および切断されたハア行列の極限スペクトル分布は、そのStieltjes変換を用いて正確に特徴付けられる。
• 極限スペクトル測度の一次および二次逆モーメントが閉形式で計算され、正確なアルゴリズム的解析が可能になる。
• ハア行列およびランダム化ハダマード行列の収束速度は同一であり、ガウスランダム投影よりも一貫して優れている。
• スペクトルモーメントに基づいて、反復的スケッチの最適なステップサイズおよび収束速度が単純な閉形式で導出される。
• 開発されたフレームワークは、高速ハダマードベースの次元削減を用いるランダム化アルゴリズムに広く適用可能である。