[論文レビュー] Precise Performance of Linear Denoisers in the Proportional Regime

Reza Ghane, Danil Akhtiamov+1 more|arXiv (Cornell University)|Mar 19, 2026

Statistical Methods and Inference被引用数 0

ひとこと要約

この論文は、未知の信号共分散と既知のノイズ共分散の下でノイズ観測 x+z から潜在信号 x を回復する線形デノイザー W を設計・分析し、比例領域におけるその正確な性能を特徴づける。

ABSTRACT

In the present paper we study the performance of linear denoisers for noisy data of the form $\mathbf{x} + \mathbf{z}$, where $\mathbf{x} \in \mathbb{R}^d$ is the desired data with zero mean and unknown covariance $\mathbfΣ$, and $\mathbf{z} \sim \mathcal{N}(0, \mathbfΣ_{\mathbf{z}})$ is additive noise. Since the covariance $\mathbfΣ$ is not known, the standard Wiener filter cannot be employed for denoising. Instead we assume we are given samples $\mathbf{x}_1,\dots,\mathbf{x}_n \in \mathbb{R}^d$ from the true distribution. A standard approach would then be to estimate $\mathbfΣ$ from the samples and use it to construct an ``empirical" Wiener filter. However, in this paper, motivated by the denoising step in diffusion models, we take a different approach whereby we train a linear denoiser $\mathbf{W}$ from the data itself. In particular, we synthetically construct noisy samples $\hat{\mathbf{x}}_i$ of the data by injecting the samples with Gaussian noise with covariance $\mathbfΣ_1 eq \mathbfΣ_{\mathbf{z}}$ and find the best $\mathbf{W}$ that approximates $\mathbf{W}\hat{\mathbf{x}}_i \approx \mathbf{x}_i$ in a least-squares sense. In the proportional regime $\frac{n}{d} ightarrow κ> 1$ we use the {\it Convex Gaussian Min-Max Theorem (CGMT)} to analytically find the closed form expression for the generalization error of the denoiser obtained from this process. Using this expression one can optimize over $\mathbfΣ_1$ to find the best possible denoiser. Our numerical simulations show that our denoiser outperforms the ``empirical" Wiener filter in many scenarios and approaches the optimal Wiener filter as $κ ightarrow\infty$.

研究の動機と目的

• 信号共分散が未知でノイズ共分散が既知の場合のデノイング問題を動機づける。
• ノイズデータから x を一般化誤差を最小化する形で線形デノイザー設計を定式化する。
• 比例領域における線形デノイザーの正確な性能を研究する。
• 最適な W が共分散とデータレジームにどう依存するかについて洞察を提供する。

提案手法

• x ~ N(0, Σ) が未知、z ~ N(0, Σz) が既知、観測 ŷ = x + z というデータモデルを定義する。
• Ŷ を用いて x の推定値としての WŶ を写像する線形デノイザー W ∈ R^{d×d} を提案する。
• W が最小化しようとする一般化誤差の目的関数を導出する。
• 比例領域における Σ、Σz、サンプルサイズ n の依存性を最適な W について分析する。
• デノイザーの正確な性能を定量化する理論的結果を提供する。

実験結果

リサーチクエスチョン

• RQ1 モデルが提示する中で、一般化誤差を最小化する最適な線形デノイザー W は何か。
• RQ2 未知の信号共分散 Σ が既知の Σz を持つ場合、デノイザーの性能はどのように影響を受けるか。
• RQ3 比例領域における線形デノイザーの正確な性能特性は何か。

主な発見

• 論文は、前提となるモデルの下で線形デノイザーの正確な性能特性を導出する。
• 最適な W は Σ と Σz の関係および比例領域におけるサンプルサイズ n に依存する。
• デノイザーが理想的なノイズ抑制を達成する条件を提供する。
• Σ の未知性がデノイニング性能に与える影響についての洞察を得る。