[论文解读] Precise Performance of Linear Denoisers in the Proportional Regime

Reza Ghane, Danil Akhtiamov+1 more|arXiv (Cornell University)|Mar 19, 2026

Statistical Methods and Inference被引用 0

一句话总结

本文设计并分析一个线性去噪器 W，在未知信号协方差且已知噪声协方差的条件下，从带噪观测 x+z 中恢复潜在信号 x，并在成比例 regime 中精确表征其性能。

ABSTRACT

In the present paper we study the performance of linear denoisers for noisy data of the form $\mathbf{x} + \mathbf{z}$, where $\mathbf{x} \in \mathbb{R}^d$ is the desired data with zero mean and unknown covariance $\mathbfΣ$, and $\mathbf{z} \sim \mathcal{N}(0, \mathbfΣ_{\mathbf{z}})$ is additive noise. Since the covariance $\mathbfΣ$ is not known, the standard Wiener filter cannot be employed for denoising. Instead we assume we are given samples $\mathbf{x}_1,\dots,\mathbf{x}_n \in \mathbb{R}^d$ from the true distribution. A standard approach would then be to estimate $\mathbfΣ$ from the samples and use it to construct an ``empirical" Wiener filter. However, in this paper, motivated by the denoising step in diffusion models, we take a different approach whereby we train a linear denoiser $\mathbf{W}$ from the data itself. In particular, we synthetically construct noisy samples $\hat{\mathbf{x}}_i$ of the data by injecting the samples with Gaussian noise with covariance $\mathbfΣ_1 eq \mathbfΣ_{\mathbf{z}}$ and find the best $\mathbf{W}$ that approximates $\mathbf{W}\hat{\mathbf{x}}_i \approx \mathbf{x}_i$ in a least-squares sense. In the proportional regime $\frac{n}{d} ightarrow κ> 1$ we use the {\it Convex Gaussian Min-Max Theorem (CGMT)} to analytically find the closed form expression for the generalization error of the denoiser obtained from this process. Using this expression one can optimize over $\mathbfΣ_1$ to find the best possible denoiser. Our numerical simulations show that our denoiser outperforms the ``empirical" Wiener filter in many scenarios and approaches the optimal Wiener filter as $κ ightarrow\infty$.

研究动机与目标

• 在信号协方差未知且噪声协方差已知的前提下，激发去噪问题的动机。
• 将线性去噪器设计表述为在带噪数据中最小化对 x 的泛化误差。
• 研究线性去噪器在成比例 regime 中的精确性能。
• 提供关于最优 W 如何依赖于协方差和数据 regime 的洞见。

提出的方法

• 定义数据模型 x ~ N(0, Σ) 未知、z ~ N(0, Σz) 已知，观测 ŷ = x + z。
• 提出一个线性去噪器 W ∈ R^{d×d}，将 ŷ 映射为 x 的估计 WŶ。
• 推导 W 目标的泛化误差，以去噪器要最小化。
• 在成比例 regime 中分析最优 W 对 Σ、Σz 以及样本量 n 的依赖性。
• 给出理论结果，量化去噪器的精确性能。

实验结果

研究问题

• RQ1 在该模型下，最优的线性去噪器 W 是什么，以最小化泛化误差？
• RQ2 在 Σz 已知的情况下，未知信号协方差 Σ 如何影响去噪器的性能？
• RQ3 线性去噪器在成比例 regime 中的精确性能特征是什么？

主要发现

• 本文在所述模型下推导出线性去噪器的精确性能特征。
• 最优的 W 取决于 Σ 与 Σz 之间的关系以及成比例 regime 中的样本量 n。
• 结果给出在何种条件下去噪器实现接近理想的噪声抑制。
• 分析给出 Σ 的未知性如何影响去噪性能的洞见。