[论文解读] Denoising modulo samples: k-NN regression and tightness of SDP relaxation

Michaël Fanuel, Hemant Tyagi|arXiv (Cornell University)|Sep 10, 2020

Sparse and Compressive Sensing Techniques被引用 4

一句话总结

本文提出了一种针对Lipschitz函数模1采样点的两阶段去噪方法，首先使用k-NN回归对模1估计值进行去噪，随后进行顺序去卷绕，以高概率实现 $ O((\log n / n)^{1/(d+2)}) $ 的一致误差率。此外，还建立了用于模1采样恢复的非凸QCQP公式化中SDP松弛紧致性的充分条件。

ABSTRACT

Many modern applications involve the acquisition of noisy modulo samples of a function $f$, with the goal being to recover estimates of the original samples of $f$. For a Lipschitz function $f:[0,1]^d \ o \\mathbb{R}$, suppose we are given the samples $y_i = (f(x_i) + \\eta_i)\\bmod 1; \\quad i=1,\\dots,n$ where $\\eta_i$ denotes noise. Assuming $\\eta_i$ are zero-mean i.i.d Gaussian's, and $x_i$'s form a uniform grid, we derive a two-stage algorithm that recovers estimates of the samples $f(x_i)$ with a uniform error rate $O((\\frac{\\log n}{n})^{\\frac{1}{d+2}})$ holding with high probability. The first stage involves embedding the points on the unit complex circle, and obtaining denoised estimates of $f(x_i)\\bmod 1$ via a $k$NN (nearest neighbor) estimator. The second stage involves a sequential unwrapping procedure which unwraps the denoised mod $1$ estimates from the first stage. The estimates of the samples $f(x_i)$ can be subsequently utilized to construct an estimate of the function $f$, with the aforementioned uniform error rate. Recently, Cucuringu and Tyagi proposed an alternative way of denoising modulo $1$ data which works with their representation on the unit complex circle. They formulated a smoothness regularized least squares problem on the product manifold of unit circles, where the smoothness is measured with respect to the Laplacian of a proximity graph $G$ involving the $x_i$'s. This is a nonconvex quadratically constrained quadratic program (QCQP) hence they proposed solving its semidefinite program (SDP) based relaxation. We derive sufficient conditions under which the SDP is a tight relaxation of the QCQP. Hence under these conditions, the global solution of QCQP can be obtained in polynomial time.

研究动机与目标

• 解决从Lipschitz函数的噪声模1观测中恢复原始采样点的挑战。
• 设计一种两阶段算法，首先对模1估计值进行去噪，然后通过去卷绕恢复原始函数值。
• 在独立同分布高斯噪声下，为恢复样本的一致误差率提供理论保证。
• 建立半正定规划（SDP）松弛对非凸QCQP公式化紧致性的充分条件，从而实现多项式时间全局解恢复。
• 通过图拉普拉斯正则化，将分析扩展至具有均匀网格和光滑性约束的多变量情形。

提出的方法

• 在单位复单位圆上的嵌入点上使用k-NN回归来估计 $ f(x_i) \mod 1 $，以降低模1观测中的噪声。
• 应用顺序去卷绕过程，利用局部光滑性，从去噪后的模1估计值重建原始 $ f(x_i) $ 值。
• 在单位圆的乘积流形上，基于邻近图的拉普拉斯矩阵，构建平滑性正则化的最小二乘问题。
• 将非凸QCQP松弛为半正定规划（SDP），以实现多项式时间优化。
• 推导SDP松弛紧致的充分条件，确保原始QCQP的全局解可被恢复。
• 利用问题的结构，包括独立同分布高斯噪声和均匀网格采样，推导出高概率误差界。

实验结果

研究问题

• RQ1 结合k-NN去噪与顺序去卷绕的两阶段算法，能否在独立同分布高斯噪声下，对从噪声模1观测中恢复Lipschitz函数样本实现 $ O((\log n / n)^{1/(d+2)}) $ 的一致误差率？
• RQ2 在何种条件下，模1去噪的非凸QCQP公式化的SDP松弛是紧致的，从而确保全局最优性？
• RQ3 正则化参数 $ \lambda $ 的选择如何影响基于SDP方法的去噪估计精度？
• RQ4 所提出的方法能否推广至 $ d \geq 1 $ 的多变量情形？图拉普拉斯在此推广中起什么作用？
• RQ5 复值估计器的 $ \ell_2 $ 误差与真实噪声水平之间有何关系？在何种条件下，该估计器显著优于仅含噪声的基线？

主要发现

• 所提出的两阶段算法在独立同分布高斯噪声下，以高概率实现 $ O((\log n / n)^{1/(d+2)}) $ 的一致误差率，用于估计 $ f(x_i) $。
• k-NN去噪步骤有效降低了 $ f(x_i) \mod 1 $ 估计中的误差，这对准确的顺序去卷绕至关重要。
• 在充分条件下，QCQP的SDP松弛是紧致的，从而能够以多项式时间计算非凸问题的全局解。
• 分析表明，通过适当选择 $ \lambda $，去噪复估计器 $ \widehat{g}/|\widehat{g}| $ 的 $ \ell_2 $ 误差可显著小于噪声基线 $ \|z - h\|_2^2 $。
• 对于具有独立同分布高斯噪声和均匀网格的单变量情形，以高概率有 $ \|\widehat{g}/|\widehat{g}| - h\|_2^2 \lesssim \sigma n + \lambda M^2 \Delta^3 / n $。
• 未来工作表明，需要对 $ \widehat{g} - h $ 建立更紧致的 $ \ell_\infty $ 界，且预期最优 $ \lambda $ 选择可最小化 $ \|\widehat{g} - h\|_\infty $，从而进一步提升性能。