[論文レビュー] Spectral Universality of Regularized Linear Regression with Nearly Deterministic Sensing Matrices

Rishabh Dudeja, Subhabrata Sen+1 more|arXiv (Cornell University)|Aug 4, 2022

Sparse and Compressive Sensing Techniques被引用数 5

ひとこと要約

この論文は、ほぼ決定論的なセンシング行列を用いた正則化線形回帰におけるスペクトル普遍性を確立し、同じ固有値スペクトルと一般性を持つ特異ベクトルを共有する広範な行列クラスにおいて、性能とプロキシマル勾配ダイナミクスが漸近的に同一であることを証明する。主な貢献は、決定論的固有値およびベクトル条件によって定義される形式的な普遍性クラスの導入であり、これにより構造的・相関的・決定論的な行列の代わりに回転不変集合を代替として用いることで、解析が容易になる。

ABSTRACT

It has been observed that the performances of many high-dimensional estimation problems are universal with respect to underlying sensing (or design) matrices. Specifically, matrices with markedly different constructions seem to achieve identical performance if they share the same spectral distribution and have ``generic'' singular vectors. We prove this universality phenomenon for the case of convex regularized least squares (RLS) estimators under a linear regression model with additive Gaussian noise. Our main contributions are two-fold: (1) We introduce a notion of universality classes for sensing matrices, defined through a set of deterministic conditions that fix the spectrum of the sensing matrix and precisely capture the previously heuristic notion of generic singular vectors; (2) We show that for all sensing matrices that lie in the same universality class, the dynamics of the proximal gradient descent algorithm for solving the regression problem, as well as the performance of RLS estimators themselves (under additional strong convexity conditions) are asymptotically identical. In addition to including i.i.d. Gaussian and rotational invariant matrices as special cases, our universality class also contains highly structured, strongly correlated, or even (nearly) deterministic matrices. Examples of the latter include randomly signed versions of incoherent tight frames and randomly subsampled Hadamard transforms. As a consequence of this universality principle, the asymptotic performance of regularized linear regression on many structured matrices constructed with limited randomness can be characterized by using the rotationally invariant ensemble as an equivalent yet mathematically more tractable surrogate.

研究の動機と目的

• 高次元線形回帰における正則化最小二乗（RLS）推定器の厳密な普遍性原理を確立すること。
• i.i.d. または回転不変行列を超える広範なセンシング行列クラスを定義し、同じスペクトルおよびベクトル条件を満たす場合に性能が漸近的に同一であることを示すこと。
• 構造的・相関的・ほぼ決定論的な行列（例：符号付き非一様フレーム、部分抽出ハダマード行列）が、回転不変行列と同一の普遍性クラスに属することを示すこと。
• 複雑でランダム性が低いセンシング設計の漸近的性能を、回転不変集合を数学的に取り扱いやすい代替物として用いることで特徴づけること。
• 強い凸性のもとで、プロキシマル勾配降下法のダイナミクスとRLS推定器の性能が普遍的であることを、VAMPおよびGFOMフレームワークを用いて証明すること。

提案手法

• センシング行列の固有値および特異ベクトルに関する決定論的条件によって定義される普遍性クラスを導入し、一般性とスペクトル安定性を保証する。
• 高次元漸近的条件下でのアルゴリズム的ダイナミクスを解析するために、ベクトル近似メッセージパッシング（VAMP）および一般一次元法（GFOM）を用いる。
• 多項式近似およびモーメントに基づく集中度解析を用いて、MVAMP（多変量VAMP）ダイナミクスの普遍性を証明する。
• モーメントの方法および単純な構成への分解を用いて、反復値の多項式関数の期待値の普遍性を確立する。
• 高次元ベクトルダイナミクスの簡略化と収束の保証のため、直交化およびホワイトニング技術を用いる。
• 関数の連続性および多項式有界性を活用して、漸近的挙動を保持する近似列を構築する。

実験結果

リサーチクエスチョン

• RQ1 異なる構成を持つセンシング行列において、同じスペクトルと一般性を持つ特異ベクトルを共有する限り、正則化線形回帰の性能が普遍的に特徴づけられるか？
• RQ2 さまざまなセンシング行列集合において、RLS推定器のプロキシマル勾配降下法のダイナミクスが同じ漸近的挙動を示すか？
• RQ3 ランダムに符号が付加された非一様フレームや部分抽出ハダマード変換などの構造的・ほぼ決定論的行列が、漸近的性能の観点で回転不変行列と同等に扱えるか？
• RQ4 i.i.d. および決定論的構成を含む両方の行列に対して、同じRLS推定器およびアルゴリズム的ダイナミクスを持つ形式的な普遍性クラスが存在するか？
• RQ5 複雑でランダム性が低いセンシング設計におけるRLSの漸近的性能を、回転不変集合を代替物として用いることで正確に予測できるか？

主な発見

• 固定されたスペクトルと一般性を持つ特異ベクトルを共有する普遍性クラスに属するすべてのセンシング行列において、RLS推定器の漸近的性能とプロキシマル勾配降下法のダイナミクスは同一である。
• 普遍性クラスには、i.i.d. ガウス行列、回転不変行列、およびランダムに符号が付加された非一様フレームや部分抽出ハダマード変換などの高構造的行列が含まれる。
• 強い相関や低いランダム性を持つほぼ決定論的行列であっても、普遍性クラスのスペクトルおよびベクトル条件を満たしていれば、依然として普遍的挙動を示す。
• 構造的で複雑な行列に対する正則化回帰の性能は、スペクトル普遍性のおかげで、回転不変集合を代替物として用いることで正確に予測可能である。
• VAMPおよびGFOMフレームワークは、同じ条件下で普遍的であり、普遍性クラス全体にわたり、ダイナミクスが同一の極限に収束することが示された。
• 多項式近似およびモーメントに基づく集中度技術により、高次元ベクトル反復値が普遍的極限に収束することを証明し、普遍性が確立された。