[논문 리뷰] Denoising modulo samples: k-NN regression and tightness of SDP relaxation

Michaël Fanuel, Hemant Tyagi|arXiv (Cornell University)|2020. 09. 10.

Sparse and Compressive Sensing Techniques인용 수 4

한 줄 요약

이 논문은 립시츠 함수의 모듈로-1 표본에 대해 이중 단계 노이즈 제거 방법을 제안한다. k-NN 회귀를 사용해 모듈로 1 추정치를 노이즈 제거한 후 순차적 언랩핑을 수행하며, 이로 인해 고확률로 균일 오차율 $ O((\log n / n)^{1/(d+2)}) $ 을 달성한다. 또한 모듈로 표본 복원에 사용되는 비볼록 QCQP 설정의 SDP 리 릴랙세이션의 타당성 조건을 확립한다.

ABSTRACT

Many modern applications involve the acquisition of noisy modulo samples of a function $f$, with the goal being to recover estimates of the original samples of $f$. For a Lipschitz function $f:[0,1]^d \ o \\mathbb{R}$, suppose we are given the samples $y_i = (f(x_i) + \\eta_i)\\bmod 1; \\quad i=1,\\dots,n$ where $\\eta_i$ denotes noise. Assuming $\\eta_i$ are zero-mean i.i.d Gaussian's, and $x_i$'s form a uniform grid, we derive a two-stage algorithm that recovers estimates of the samples $f(x_i)$ with a uniform error rate $O((\\frac{\\log n}{n})^{\\frac{1}{d+2}})$ holding with high probability. The first stage involves embedding the points on the unit complex circle, and obtaining denoised estimates of $f(x_i)\\bmod 1$ via a $k$NN (nearest neighbor) estimator. The second stage involves a sequential unwrapping procedure which unwraps the denoised mod $1$ estimates from the first stage. The estimates of the samples $f(x_i)$ can be subsequently utilized to construct an estimate of the function $f$, with the aforementioned uniform error rate. Recently, Cucuringu and Tyagi proposed an alternative way of denoising modulo $1$ data which works with their representation on the unit complex circle. They formulated a smoothness regularized least squares problem on the product manifold of unit circles, where the smoothness is measured with respect to the Laplacian of a proximity graph $G$ involving the $x_i$'s. This is a nonconvex quadratically constrained quadratic program (QCQP) hence they proposed solving its semidefinite program (SDP) based relaxation. We derive sufficient conditions under which the SDP is a tight relaxation of the QCQP. Hence under these conditions, the global solution of QCQP can be obtained in polynomial time.

연구 동기 및 목표

• 노이즈가 첨부된 립시츠 함수의 모듈로-1 관측치로부터 원래 표본을 복원하는 문제에 도전한다.
• 먼저 모듈로 1 추정치를 노이즈 제거하고, 이후 이를 이용해 원래 함수 값을 복원하는 이중 단계 알고리즘을 개발한다.
• 독립 동일분포 가우시안 노이즈 하에서 복원된 표본의 균일 오차율에 대한 이론적 보장을 제공한다.
• 비볼록 QCQP의 준거형으로 사용되는 정수형 프로그래밍(SDP) 리 릴랙세이션의 타당성 조건을 확립하여 다항시간 내에 전역 최적해를 복원할 수 있도록 한다.
• 그래프 라플라시안 정규화를 통해 다변수 설정과 균일 격자, 부드러움 제약 조건을 분석에 통합한다.

제안 방법

• 단위 복소수 원주상의 임bedded 점들에 대해 k-NN 회귀를 적용하여 $ f(x_i) \mod 1 $ 을 추정함으로써 모듈로 1 관측치의 노이즈를 감소시킨다.
• 지역적 부드러움을 활용해 노이즈 제거된 모듈로 1 추정치로부터 원래 $ f(x_i) $ 값을 순차적으로 언랩핑하여 복원한다.
• 근접성 그래프의 라플라시안을 사용해 단위 원의 곱 다양체 위에서 스무스함을 정규화한 최소 제곱 문제를 설정한다.
• 비볼록 QCQP를 다항시간 최적화가 가능한 정수형 프로그래밍(SDP)으로 리 릴랙세이션한다.
• 원래 QCQP의 전역 최적해가 복원될 수 있도록 SDP 리 릴랙세이션의 타당성 조건을 유도한다.
• 독립 동일분포 가우시안 노이즈와 균일 격자 표본 추출의 문제 구조를 활용해 고확률 오차 한계를 도출한다.

실험 결과

연구 질문

• RQ1 이중 단계 알고리즘인 k-NN 노이즈 제거와 순차적 언랩핑을 조합하여, 노이즈가 첨부된 모듈로-1 관측치로부터 립시츠 함수 표본을 복원할 때 균일 오차율 $ O((\log n / n)^{1/(d+2)}) $ 을 달성할 수 있는가?
• RQ2 모듈로-1 노이즈 제거를 위한 비볼록 QCQP 설정의 SDP 리 릴랙세이션은 어떤 조건에서 타당한가? 이는 전역 최적해 보장에 기여한다.
• RQ3 정규화 파rameter $ \lambda $ 의 선택이 SDP 기반 접근법에서 노이즈 제거 추정치의 정확도에 어떤 영향을 미치는가?
• RQ4 제안된 방법은 $ d \geq 1 $ 인 다변수 설정으로 일반화될 수 있는가? 이 일반화 과정에서 그래프 라플라시안은 어떤 역할을 하는가?
• RQ5 복소수 추정치 $ \widehat{g}/|\widehat{g}| $ 의 $ \ell_2 $ 오차와 진짜 노이즈 수준 간의 관계는 무엇이며, 어떤 조건에서 추정치가 노이즈 전용 기준보다 유의미하게 우수한가?

주요 결과

• 제안된 이중 단계 알고리즘은 독립 동일분포 가우시안 노이즈 하에서 고확률로 $ f(x_i) $ 추정치에 대해 균일 오차율 $ O((\log n / n)^{1/(d+2)}) $ 을 달성한다.
• k-NN 노이즈 제거 단계는 $ f(x_i) \mod 1 $ 추정치의 오차를 효과적으로 감소시키며, 이는 정확한 순차적 언랩핑에 필수적이다.
• 충분한 조건 하에서 QCQP의 SDP 리 릴랙세이션은 타당하며, 이는 비볼록 문제의 전역 최적해를 다항시간 내에 계산 가능하게 한다.
• 분석 결과, 적절한 $ \lambda $ 선택 하에서 노이즈 제거된 복소수 추정치 $ \widehat{g}/|\widehat{g}| $ 의 $ \ell_2 $ 오차는 노이즈 기준 $ \|z - h\|_2^2 $ 보다 유의미하게 작아질 수 있다.
• 독립 동일분포 가우시안 노이즈와 균일 격자 하에서 단변수 케이스에 대해 고확률로 오차 한계 $ \|\widehat{g}/|\widehat{g}| - h\|_2^2 \lesssim \sigma n + \lambda M^2 \Delta^3 / n $ 가 성립한다.
• 미래 연구 과제로는 $ \widehat{g} - h $ 에 대한 더 타당한 $ \ell_\infty $ 한계가 필요하며, $ \|\widehat{g} - h\|_\infty $ 를 최소화하는 최적의 $ \lambda $ 선택이 성능 향상에 기여할 것으로 기대된다.