[논문 리뷰] Provably robust estimation of modulo 1 samples of a smooth function with applications to phase unwrapping

Mihai Cucuringu, Hemant Tyagi|arXiv (Cornell University)|2018. 03. 09.

Optical measurement and interference techniques참고 문헌 73인용 수 12

한 줄 요약

이 논문은 부드러운 함수의 모듈로 1 표본을 각도 임bedding과 신뢰영역 하위문제 근사화를 이용해 증명 가능하게 강건한 방법으로 노이즈 제거하는 것을 제안한다. 이는 적대적 노이즈, 가우시안 노이즈, 베르누이 노이즈 모델 하에서 이론적 보장을 제공하며, 높은 노이즈 수준에서도 원래 신호를 전역 이동까지 높은 정확도로 복원할 수 있는 효율적인 단계 복원을 가능하게 한다.

ABSTRACT

Consider an unknown smooth function $f: [0,1]^d ightarrow \mathbb{R}$, and say we are given $n$ noisy mod 1 samples of $f$, i.e., $y_i = (f(x_i) + η_i)\mod 1$, for $x_i \in [0,1]^d$, where $η_i$ denotes the noise. Given the samples $(x_i,y_i)_{i=1}^{n}$, our goal is to recover smooth, robust estimates of the clean samples $f(x_i) \bmod 1$. We formulate a natural approach for solving this problem, which works with angular embeddings of the noisy mod 1 samples over the unit circle, inspired by the angular synchronization framework. This amounts to solving a smoothness regularized least-squares problem -- a quadratically constrained quadratic program (QCQP) -- where the variables are constrained to lie on the unit circle. Our approach is based on solving its relaxation, which is a trust-region sub-problem and hence solvable efficiently. We provide theoretical guarantees demonstrating its robustness to noise for adversarial, and random Gaussian and Bernoulli noise models. To the best of our knowledge, these are the first such theoretical results for this problem. We demonstrate the robustness and efficiency of our approach via extensive numerical simulations on synthetic data, along with a simple least-squares solution for the unwrapping stage, that recovers the original samples of $f$ (up to a global shift). It is shown to perform well at high levels of noise, when taking as input the denoised modulo $1$ samples. Finally, we also consider two other approaches for denoising the modulo 1 samples that leverage tools from Riemannian optimization on manifolds, including a Burer-Monteiro approach for a semidefinite programming relaxation of our formulation. For the two-dimensional version of the problem, which has applications in radar interferometry, we are able to solve instances of real-world data with a million sample points in under 10 seconds, on a personal laptop.

연구 동기 및 목표

• 노이즈가 있는 관측치로부터 알려지지 않은 부드러운 함수의 깨끗한 모듈로 1 표본을 부드러움 정규화를 통한 강건한 방법으로 추정하는 것.
• 적대적, 가우시안, 베르누이 노이즈 모델을 포함한 다양한 노이즈 모델 하에서 방법의 강건성에 대한 이론적 보장을 제공하는 것.
• 먼저 모듈로 1 표본을 노이즈 제거한 후 원래 신호를 전역 이동까지 복원함으로써 효율적이고 정확한 단계 복원을 가능하게 하는 것.
• 신뢰영역 기반 접근법과 린만 기반 최적화 및 준정형 프로그래밍 근사화 기반의 대안적 방법들을 비교하는 것.
• 대규모 문제, 특히 100만 개 이상의 점을 포함한 실제 InSAR 데이터를 10초 이내에 처리할 수 있는 확장성 입증

제안 방법

• 모듈로 1 표본을 각도 변수로 모델링하여 단위 원 위에서의 부드러움 정규화가 적용된 최소 제곱 최적화 문제로 노이즈 제거 문제를 설정한다.
• 비볼록 2차 제약 조건을 가진 2차 프로그래밍(QCQP) 문제를 신뢰영역 하위문제로 근사화하여 표준 수치적 방법으로 효율적으로 해결할 수 있도록 한다.
• 변수들이 단위 원 위에 유지되도록 ℓ₂ 구/구면 제약 조건을 가진 신뢰영역 하위문제를 사용하여 효율적이고 안정적인 최적화를 가능하게 한다.
• 원래의 실수 값 함수를 전역 이동까지 복원하기 위해 단계 복원 단계에서 단순한 최소 제곱법을 사용한다.
• 다양한 다양체 위에서의 린만 기반 최적화 및 준정형 프로그래밍 근사화를 위한 Burer-Monteiro 접근법을 대안적 수식으로 탐색한다.
• 두 차원 단계 복원 문제에 적용하여, 고밀도 표본 수를 가진 실제 InSAR 데이터에서의 확장성 입증

실험 결과

연구 질문

• RQ1 모듈로 1 노이즈 제거를 위한 QCQP 수식의 신뢰영역 근사화가 적대적 노이즈에 대해 증명 가능하게 강건한가?
• RQ2 제안된 방법은 랜덤 가우시안 및 베르누이 노이즈 모델 하에서도 정확도를 유지하는가? 이는 이론적으로 정당화될 수 있는가?
• RQ3 정확도와 속도 측면에서 신뢰영역 기반 방법이 린만 기반 최적화 및 준정형 프로그래밍 근사화와 비교해 어떻게 성능을 내는가?
• RQ4 실제 InSAR 데이터와 같이 100만 개의 표본을 포함한 대규모 문제를 실용적인 시간 제한 내에서 효율적으로 처리할 수 있는가?
• RQ5 특히 높은 노이즈 수준에서, 노이즈 제거된 모듈로 1 표본에 적용했을 때 단계 복원 단계가 강건하고 정확한가?

주요 결과

• QCQP 수식의 신뢰영역 근사화는 농도 불확실성에 대해 증명 가능하게 강건하며, 농도 불확실성에 대한 집중 부등식을 통해 이론적 보장을 확보한다.
• 방법은 가우시안 및 베르누이 노이즈 모델 하에서 강력한 경험적 성능을 보이며, 노이즈 제거된 추정치가 진짜 기저 함수를 정확히 따라간다.
• 두 차원 단계 복원 문제에서, 이 방법은 개인용 노트북에서 100만 개 이상의 점을 10초 이내에 성공적으로 처리하였다.
• 특히 고노이즈 환경에서 이전 연구(Bhandari 등, 2017)를 능가하며, 강건한 노이즈 제거 단계 덕분이다.
• 최소 제곱 회귀 기반의 단계 복원 단계는 노이즈 제거된 모듈로 1 표본이 노이즈가 있어도 원래 신호를 전역 이동까지 신뢰성 있게 복원한다.
• 이론적 분석을 통해 방법은 임의의 유한한 노이즈 하에서도 안정성과 정확도를 유지하며, 오차 범위는 노이즈 수준과 기저 함수의 부드러움에 따라 결정됨을 확인하였다.