[論文レビュー] Optimal denoising of rotationally invariant rectangular matrices

Emanuele Troiani, Vittorio Erba+3 more|arXiv (Cornell University)|Mar 15, 2022

Blind Source Separation Techniques被引用数 5

ひとこと要約

本稿では、加法的ガウスノイズと回転不変な事前分布の下で、大規模な長方形行列に対する最適なノイズ除去器を、Dyson Brownian motionを用いた動的アプローチと長方形 Harish-Chandra-Itzykson-Zuber (HCIZ) 積分の漸近的解析によって導出する。主な貢献は、高次元極限における最適なノイズ除去器とその平均二乗誤差性能の明示的公式の提示であり、特に行列因子分解や共分散行列をモデル化する因子化された事前分布に注目している。

ABSTRACT

In this manuscript we consider denoising of large rectangular matrices: given a noisy observation of a signal matrix, what is the best way of recovering the signal matrix itself? For Gaussian noise and rotationally-invariant signal priors, we completely characterize the optimal denoiser and its performance in the high-dimensional limit, in which the size of the signal matrix goes to infinity with fixed aspects ratio, and under the Bayes optimal setting, that is when the statistician knows how the signal and the observations were generated. Our results generalise previous works that considered only symmetric matrices to the more general case of non-symmetric and rectangular ones. We explore analytically and numerically a particular choice of factorized signal prior that models cross-covariance matrices and the matrix factorization problem. As a byproduct of our analysis, we provide an explicit asymptotic evaluation of the rectangular Harish-Chandra-Itzykson-Zuber integral in a special case.

研究の動機と目的

• ベイズ最適な状況下で、高次元極限における大規模な長方形行列の最適なノイズ除去器を特徴付けること。
• 対称行列に関する先行研究を、より一般的な非対称で長方形の行列に回転不変な事前分布を含む場合に拡張すること。
• ノイズ除去に関連する特殊なケースにおいて、長方形 HCIZ 積分の明示的漸近的評価を提供すること。
• 因子化された信号事前分布の文脈において、最適なノイズ除去の性能を分析すること。これにより、行列因子分解と共分散推定をモデル化できる。
• ランクが行列次元に比例して増大する「広義のランク」領域におけるノイズ除去の理論的基盤を確立すること。

提案手法

• 信号行列とそのノイズ付き観測値の間を滑らかに接続するための、Dyson Brownian motionに基づく動的アプローチを用いる。
• 長方形 HCIZ 積分の漸近的解析を応用し、高次元極限における最適なノイズ除去器を導出する。
• ノイズ分散が標準正規化と一致しない場合に対処するため、時間スケーリング変換技術を採用する。
• 回転不変性の制約下で、スペクトル測度に関する変分問題を解くことで最適なノイズ除去器を導出する。
• ノイズパラメータを信号行列とノイズ付き行列の間に均等に分配する変換を導入し、摂動のガウス性を保つ。
• ある関数 G(t) の時間微分が消えるという事実を用いて、初期値と最終値を等置することで、HCIZ 積分の明示的評価を可能にする。

実験結果

リサーチクエスチョン

• RQ1 信号事前分布が回転不変で、ノイズが加法的ガウス分布である場合に、大規模な長方形行列に対する最適なノイズ除去器は何か？
• RQ2 固定されたアスペクト比を持つ長方形行列において、最適なノイズ除去器の性能は高次元極限でどのようにスケーリングされるか？
• RQ3 特定のクラスの行列に対して、長方形 Harish-Chandra-Itzykson-Zuber 積分を漸近的極限で明示的に評価できるか？
• RQ4 ランクが行列次元に比例して増大する「広義のランク」領域において、最適なノイズ除去性能はどのように変化するか？
• RQ5 共分散行列をモデル化するような因子化された事前分布に対して、最適なノイズ除去器の解析的構造は何か？

主な発見

• 最適なノイズ除去器は、信号行列と観測行列のスペクトル測度を用いて完全に特徴付けられ、ノイズレベルと行列のアスペクト比に明示的な依存関係を示す。
• 摂動がガウス分布である場合に、長方形 HCIZ 積分の明示的漸近公式が導出され、最適なノイズ除去性能の正確な計算が可能になる。
• 最適なノイズ除去器の平均二乗誤差は、信号行列とノイズ付き行列のスペクトル測度の関数として表現され、分散およびエントロピーに類似した項を含む。
• i.i.d. ガウス要因を持つ因子化された事前分布に対しては、広義のランク領域において、標準的な縮小法よりも優れた性能を達成する。
• 導出過程から、最適なノイズ除去性能が、回転不変性のおかげで信号行列と観測行列の特異値分布にのみ依存することが明らかになった。
• 真の事前分布とノイズモデルが既知であるベイズ最適設定下で本結果は成り立ち、実用的な行列ノイズ除去および因子分解アルゴリズムの理論的ベンチマークを提供する。