[論文レビュー] Denoising modulo samples: k-NN regression and tightness of SDP relaxation

Michaël Fanuel, Hemant Tyagi|arXiv (Cornell University)|Sep 10, 2020

Sparse and Compressive Sensing Techniques被引用数 4

ひとこと要約

本稿では、リプシッツ関数のモジュロ1サンプルに対して2段階のノイズ除去手法を提案する。k-NN回帰を用いてモジュロ1推定値をノイズ除去し、その後に逐次アンラップを施すことで、高確率で一様誤差率 $ O((\log n / n)^{1/(d+2)}) $ を達成する。また、モジュロサンプリング回復に用いられる非凸なQCQP定式化のSDP緩和のタイトさに関する十分条件を確立する。

ABSTRACT

Many modern applications involve the acquisition of noisy modulo samples of a function $f$, with the goal being to recover estimates of the original samples of $f$. For a Lipschitz function $f:[0,1]^d \ o \\mathbb{R}$, suppose we are given the samples $y_i = (f(x_i) + \\eta_i)\\bmod 1; \\quad i=1,\\dots,n$ where $\\eta_i$ denotes noise. Assuming $\\eta_i$ are zero-mean i.i.d Gaussian's, and $x_i$'s form a uniform grid, we derive a two-stage algorithm that recovers estimates of the samples $f(x_i)$ with a uniform error rate $O((\\frac{\\log n}{n})^{\\frac{1}{d+2}})$ holding with high probability. The first stage involves embedding the points on the unit complex circle, and obtaining denoised estimates of $f(x_i)\\bmod 1$ via a $k$NN (nearest neighbor) estimator. The second stage involves a sequential unwrapping procedure which unwraps the denoised mod $1$ estimates from the first stage. The estimates of the samples $f(x_i)$ can be subsequently utilized to construct an estimate of the function $f$, with the aforementioned uniform error rate. Recently, Cucuringu and Tyagi proposed an alternative way of denoising modulo $1$ data which works with their representation on the unit complex circle. They formulated a smoothness regularized least squares problem on the product manifold of unit circles, where the smoothness is measured with respect to the Laplacian of a proximity graph $G$ involving the $x_i$'s. This is a nonconvex quadratically constrained quadratic program (QCQP) hence they proposed solving its semidefinite program (SDP) based relaxation. We derive sufficient conditions under which the SDP is a tight relaxation of the QCQP. Hence under these conditions, the global solution of QCQP can be obtained in polynomial time.

研究の動機と目的

• リプシッツ関数のノイズのあるモジュロ1観測値から元のサンプルを回復する課題に対処すること。
• まずモジュロ1推定値をノイズ除去し、その後にそれらをアンラップして元の関数値を回復する2段階のアルゴリズムを開発すること。
• 独立同一分布のガウスノイズ下で、回復されたサンプルの均一誤差率に関する理論的保証を提供すること。
• 非凸なQCQPの半正定値計画（SDP）緩和がタイトであるための十分条件を確立し、多項式時間で全最適解を回復可能にすること。
• グラフラプラシアン正則化を用いて、一様グリッドと滑らかさ制約を伴う多次元設定への分析を拡張すること。

提案手法

• 単位複素円上の埋め込み点にk-NN回帰を適用し、$ f(x_i) \mod 1 $ を推定することで、モジュロ1観測値のノイズを低減する。
• 局所的な滑らかさを活用して、ノイズ除去済みのモジュロ1推定値から元の$ f(x_i) $ 値を逐次アンラップで再構築する。
• 近接性グラフのラプラシアンを用いて、単位円の積多様体上での滑らかさ正則化付き最小二乗問題を定式化する。
• 非凸なQCQPを半正定値計画（SDP）に緩和することで、多項式時間での最適化を可能にする。
• SDP緩和がタイトであるための十分条件を導出し、元のQCQPの全最適解が回復されることを保証する。
• i.i.d. ガウスノイズと一様グリッドサンプリングの構造を活用して、高確率での誤差バウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 k-NNノイズ除去と逐次アンラップを組み合わせた2段階のアルゴリズムは、ノイズのあるモジュロ1観測値からリプシッツ関数のサンプルを回復する際、高確率で一様誤差率 $ O((\log n / n)^{1/(d+2)}) $ を達成できるか？
• RQ2 モジュロ1ノイズ除去の非凸QCQP定式化のSDP緩和がタイトであるための条件は何か？ これにより、全最適性が保証される。
• RQ3 正則化パラメータ $ \lambda $ の選択が、SDPベースの手法におけるノイズ除去推定値の精度にどのように影響するか？
• RQ4 提案手法は $ d \geq 1 $ の多次元設定に一般化可能か？ また、この一般化においてグラフラプラシアンは果たす役割は何か？
• RQ5 複素数値推定子の $ \ell_2 $ 誤差と真のノイズレベルとの関係は何か？ また、どのような条件下で推定子はノイズのみのベースラインよりも著しく優れているか？

主な発見

• 提案された2段階のアルゴリズムは、i.i.d. ガウスノイズ下で、高確率で $ f(x_i) $ の推定に一様誤差率 $ O((\log n / n)^{1/(d+2)}) $ を達成する。
• k-NNノイズ除去ステップは、$ f(x_i) \mod 1 $ 推定値の誤差を効果的に低減し、正確な逐次アンラップにとって不可欠である。
• 十分な条件下で、QCQPのSDP緩和はタイトであるため、非凸問題の全最適解を多項式時間で計算可能である。
• 分析から、適切な $ \lambda $ の選択のもとで、ノイズ除去済み複素推定子 $ \widehat{g}/|\widehat{g}| $ の $ \ell_2 $ 誤差は、ノイズベースライン $ \|z - h\|_2^2 $ よりも著しく小さくできることが示された。
• i.i.d. ガウスノイズと一様グリッドの1変数ケースでは、高確率で誤差バウンド $ \|\widehat{g}/|\widehat{g}| - h\|_2^2 \lesssim \sigma n + \lambda M^2 \Delta^3 / n $ が成立する。
• 今後の課題として、$ \widehat{g} - h $ に対するよりタイトな $ \ell_\infty $ バウンドの必要性が示されており、$ \|\widehat{g} - h\|_\infty $ を最小化する最適な $ \lambda $ 選択が性能向上をもたらすと予想される。