[논문 리뷰] Precise Performance of Linear Denoisers in the Proportional Regime

Reza Ghane, Danil Akhtiamov외 1명|arXiv (Cornell University)|2026. 03. 19.

Statistical Methods and Inference인용 수 0

한 줄 요약

이 논문은 선형 디노이저 W를 설계하고 x를 노이즈 관측 x+z에서 추출하며, 신호 공분산이 알려지지 않고 노이즈 공분산은 알려진 상태에서, 비례 구간에서의 정확한 성능을 특징짓는다.

ABSTRACT

In the present paper we study the performance of linear denoisers for noisy data of the form $\mathbf{x} + \mathbf{z}$, where $\mathbf{x} \in \mathbb{R}^d$ is the desired data with zero mean and unknown covariance $\mathbfΣ$, and $\mathbf{z} \sim \mathcal{N}(0, \mathbfΣ_{\mathbf{z}})$ is additive noise. Since the covariance $\mathbfΣ$ is not known, the standard Wiener filter cannot be employed for denoising. Instead we assume we are given samples $\mathbf{x}_1,\dots,\mathbf{x}_n \in \mathbb{R}^d$ from the true distribution. A standard approach would then be to estimate $\mathbfΣ$ from the samples and use it to construct an ``empirical" Wiener filter. However, in this paper, motivated by the denoising step in diffusion models, we take a different approach whereby we train a linear denoiser $\mathbf{W}$ from the data itself. In particular, we synthetically construct noisy samples $\hat{\mathbf{x}}_i$ of the data by injecting the samples with Gaussian noise with covariance $\mathbfΣ_1 eq \mathbfΣ_{\mathbf{z}}$ and find the best $\mathbf{W}$ that approximates $\mathbf{W}\hat{\mathbf{x}}_i \approx \mathbf{x}_i$ in a least-squares sense. In the proportional regime $\frac{n}{d} ightarrow κ> 1$ we use the {\it Convex Gaussian Min-Max Theorem (CGMT)} to analytically find the closed form expression for the generalization error of the denoiser obtained from this process. Using this expression one can optimize over $\mathbfΣ_1$ to find the best possible denoiser. Our numerical simulations show that our denoiser outperforms the ``empirical" Wiener filter in many scenarios and approaches the optimal Wiener filter as $κ ightarrow\infty$.

연구 동기 및 목표

• 신호 공분산이 알려지지 않고 노이즈 공분산은 알려진 상태에서 디노이징 문제의 동기를 부여한다.
• 노이즈가 포함된 데이터로부터 x의 일반화 오차를 최소화하도록 선형 디노이저 설계를 형식화한다.
• 비례 구간에서 선형 디노이저의 정확한 성능을 연구한다.
• 최적의 W가 공분산과 데이터 구간에 어떻게 의존하는지에 대한 통찰을 제공한다.

제안 방법

• x ~ N(0, Σ) 미지수이고 z ~ N(0, Σz) 알고 있는 데이터 모델을 정의하고 관측값 ŷ = x + z를 정의한다.
• Ŷ를 x의 추정으로 매핑하는 W ∈ R^{d×d}의 선형 디노이저를 제안한다.
• W가 최소화하려는 일반화 오차에 대한 목적식을 도출한다.
• 비례 구간에서 Σ, Σz 및 표본 크기 n에 대한 최적의 W의 의존성을 분석한다.
• 디노이저의 정확한 성능을 정량화하는 이론적 결과를 제시한다.

실험 결과

연구 질문

• RQ1 주어진 모델에서 일반화 오차를 최소화하는 최적의 선형 디노이저 W는 무엇인가?
• RQ2 Σz가 알려진 경우 알 수 없는 신호 공분산 Σ가 디노이저의 성능에 어떤 영향을 미치는가?
• RQ3 비례 구간에서 선형 디노이저의 정확한 성능 특성은 무엇인가?

주요 결과

• 본 논문은 주어진 모델 아래에서 선형 디노이저의 정확한 성능 특성을 도출한다.
• 최적의 W는 Σ와 Σz 사이의 관계 및 비례 구간에서의 표본 크기 n에 의존한다.
• 이 결과는 디노이저가 거의 이상적인 잡음 억제를 달성하는 조건을 제공한다.
• 분석은 Σ에 대한 무지(모름)가 디노이징 성능에 미치는 영향에 대한 통찰을 제공한다.