[논문 리뷰] Nonparametric denoising Signals of Unknown Local Structure, II: Nonparametric Regression Estimation

Anatoli Iouditski, Arkadi Nemirovski|ArXiv.org|2009. 03. 05.

Image and Signal Denoising Methods참고 문헌 25인용 수 4

한 줄 요약

이 논문은 국소적으로 잘 걸러지는 신호(예: 매끄럽거나 조절된, 또는 조화 함수)의 알려지지 않은 국소적 구조를 가진 신호를 위한 적응형 비모수적 회귀 추정기의 제안한다. 국소적으로 잘 걸러지는 신호를 활용하여 ℓp-노름에서 최대한 최적의 수렴 속도를 달성한다. 데이터 기반 필터를 구성함으로써 국소 매끄러움에 적응하며, 비모수적 회귀에서 비모수적 추정기의 성능을 오라클 추정기 수준으로 끌어올린다.

ABSTRACT

We consider the problem of recovering of continuous multi-dimensional functions from the noisy observations over the regular grid. Our focus is at the adaptive estimation in the case when the function can be well recovered using a linear filter, which can depend on the unknown function itself. In the companion paper "Nonparametric Denoising of Signals with Unknown Local Structure, I: Oracle Inequalities" we have shown in the case when there exists an adapted time-invariant filter, which locally recovers "well" the unknown signal, there is a numerically efficient construction of an adaptive filter which recovers the signals "almost as well". In the current paper we study the application of the proposed estimation techniques in the non-parametric regression setting. Namely, we propose an adaptive estimation procedure for "locally well-filtered" signals (some typical examples being smooth signals, modulated smooth signals and harmonic functions) and show that the rate of recovery of such signals in the $\ell_p$-norm on the grid is essentially the same as that rate for regular signals with nonhomogeneous smoothness.

연구 동기 및 목표

• 기저 신호의 국소적 구조가 알려지지 않았지만, 시간 불변 선형 필터를 통해 국소적으로 잘 걸러질 수 있는 경우에 비모수적 회귀의 적응형 추정 절차를 개발한다.
• 부드러움 매개변수의 사전 지식이 없더라도, 비균일한 부드러움을 가지는 신호에 대해 ℓp-노름에서 거의 최적의 수렴 속도를 달성한다.
• 동반 논문(Part I)의 적응형 필터링 프레임워크를 정규 격자 위의 노이즈가 있는 관측치가 있는 비모수적 회귀 설정으로 확장한다.
• 제안된 추정기가 국소 부드러움이 사전에 알려져 있을 경우와 동일한 수렴 속도를 달성함을 입증하며, 신호 클래스에 대한 최소한의 가정 하에 성립한다.
• 매끄럽고, 조절된 매끄러운, 조화 함수와 같은 일반적인 신호 유형에서 방법의 성능을 검증하여 강인성과 적응성의 가능성을 보여준다.

제안 방법

• 지역 다항식 근사와 국소 신호 행동에 기반한 데이터 기반 대역폭 선택을 조합하여 적응형 추정기를 구성한다.
• 핵 기반 필터링 접근법을 사용하며, 필터 계수를 국소 신호 특성에 맞게 조정하여 최적의 국소 복원 성능을 확보한다.
• 관측치에 대한 충실도와 부드러움 제약 조건 사이의 균형을 맞추기 위해 페널티를 부여한 경험 위험을 최소화하는 볼록 최적화 절차를 통해 추정기를 정의한다.
• 도메인을 이진 큐브로 분할하고 국소 분산 및 신호 변화를 통해 국소 부드러움을 추정하는 국소화 기법을 분석에 활용한다.
• 핵심 구성 요소로는 국소 이웃에서 신호와 노이즈를 구분하기 위해 경험적 노이즈 수준 추정치를 기반으로 한 임계치 기반 메커니즘을 사용한다.
• 모멘트 부등식과 첨도의 집중성 이론을 활용하여 이론적 경계를 도출하며, 특히 노이즈 과정의 尾행동과 그로 인한 추정 오차에 대해 분석한다.

실험 결과

연구 질문

• RQ1 알려지지 않은 국소 부드러움을 가지는 신호에 대해 최대한 최적의 수렴 속도를 달성하는 적응형 비모수적 회귀 추정기를 구성할 수 있는가?
• RQ2 부드러움 매개변수의 사전 지식 없이도, 매끄럽거나 조절된 함수와 같이 국소적으로 잘 걸러지는 신호에 대해 추정 절차가 어떻게 적응할 수 있는가?
• RQ3 이러한 적응형 추정기의 ℓp-노름에서 최적의 수렴 속도는 무엇이며, 부드러움이 사전에 알려져 있을 경우의 오라클 수렴 속도와 일치하는가?
• RQ4 비균일한 부드러움을 가지는 신호를 다룰 수 있으며, 수렴 속도의 근사 최적성은 유지할 수 있는가?
• RQ5 국소 신호 변화와 노이즈 수준 추정이 적응형 성능 달성에 어떤 역할을 하는가?

주요 결과

• 제안된 적응형 추정기는 모든 p > d에 대해 ℓp-노름에서 최대한 최적의 수렴 속도를 달성하며, 국소 부드러움이 사전에 알려져 있을 경우와 동일한 최적 속도를 달성한다.
• 비균일한 부드러움을 가지는 헬더 또는 소볼레프 클래스에 속하는 신호에 대해서도, 국소 부드러움 매개변수를 사전에 알고 있는 오라클 추정기와 동일한 수렴 속도를 달성한다.
• 이론적 분석에 따르면, 이 방법은 알려지지 않은 부드러움에 강인하며, 전역 부드러움에 기반한 튜닝 없이도 데이터 기반 필터 선택을 통해 국소 신호 구조에 적응한다.
• 이론적 경계는 추정 오차가 (σ_n)^{2β(p,k,d,q)} R^{1−2β(p,k,d,q)} 비례하여 감소함을 보여주며, 여기서 β(p,k,d,q)는 부드러움에 따라 달라지는 지수로, 거의 최적성을 달성한다.
• 이론적 분석을 통해 매끄럽고, 조절된 매끄러운, 조화 함수를 포함한 다양한 유형의 신호에서 최적의 성능 유지를 확인하였다.
• 수렴 속도는 국소적으로 잘 걸러지는 신호의 클래스에 대해 균일하며, n → ∞의 渐近적 영역에서 추정기는 거의 최대한 최적임을 입증하였다.