[論文レビュー] Nonparametric denoising Signals of Unknown Local Structure, II: Nonparametric Regression Estimation

Anatoli Iouditski, Arkadi Nemirovski|ArXiv.org|Mar 5, 2009

Image and Signal Denoising Methods参考文献 25被引用数 4

ひとこと要約

本稿では、局所的に良好にフィルタリング可能な信号（例：滑らか、変調された、または調和的関数）の未知の局所的構造を考慮した、非パラメトリック回帰推定器の適応的アプローチを提案する。局所的に良好にフィルタリング可能な信号に対して、データ駆動型のフィルタを構築することで、ℓpノルムにおけるミニマックス最適収束速度を達成し、非一様滑らかさを示す信号においてもオラクル推定器と同等の性能を達成する。

ABSTRACT

We consider the problem of recovering of continuous multi-dimensional functions from the noisy observations over the regular grid. Our focus is at the adaptive estimation in the case when the function can be well recovered using a linear filter, which can depend on the unknown function itself. In the companion paper "Nonparametric Denoising of Signals with Unknown Local Structure, I: Oracle Inequalities" we have shown in the case when there exists an adapted time-invariant filter, which locally recovers "well" the unknown signal, there is a numerically efficient construction of an adaptive filter which recovers the signals "almost as well". In the current paper we study the application of the proposed estimation techniques in the non-parametric regression setting. Namely, we propose an adaptive estimation procedure for "locally well-filtered" signals (some typical examples being smooth signals, modulated smooth signals and harmonic functions) and show that the rate of recovery of such signals in the $\ell_p$-norm on the grid is essentially the same as that rate for regular signals with nonhomogeneous smoothness.

研究の動機と目的

• 信号の背後にある構造が未知の局所的構造を示すが、時間不変線形フィルタによって局所的に良好にフィルタリング可能な場合に、非パラメトリック回帰のための適応的推定手順を開発すること。
• 滑らかさパラメータの事前知識がなくても、非一様滑らかさを示す信号に対して、ℓpノルムにおけるほぼ最適な収束速度を達成すること。
• 同伴論文（Part I）で提示された適応的フィルタリングフレームワークを、定期的グリッド上のノイズあり観測を伴う非パラメトリック回帰設定に拡張すること。
• 提案された推定器が、信号クラスに最小限の仮定を置いた場合でも、局所的滑らかさが事前に分かっている場合と同等の収束速度を達成することを確立すること。
• 滑らか、変調された滑らか、調和的関数などの典型的な信号クラスに対して、その手法のロバストネスと適応性を実証すること。

提案手法

• 局所的多項式近似と、局所的信号挙動に基づくデータ駆動型バンド幅選択を組み合わせることで、適応的推定器を構築する。
• フィルタ係数を局所的信号特性に適応させるカーネルベースのフィルタリングアプローチを用い、最適な局所的回復性能を保証する。
• 罰則付き経験的リスクを最小化する凸最適化手順によって推定器を定義し、観測値への適合性と滑らかさ制約のバランスを取る。
• ドミニックキューブを用いた局所化技術により定義域を分割し、局所分散と信号変動を用いて局所的滑らかさを推定する。
• 局所的近傍における信号とノイズを区別するために、経験的ノイズレベル推定に基づくしきい値処理機構をキーパーツとして用いる。
• モーメント不等式と測度集中の理論を用いて、ノイズ過程の尾部挙動とそれに伴う推定誤差の理論的バインディングを導出する。

実験結果

リサーチクエスチョン

• RQ1 未知の局所的滑らかさを示す信号に対して、ミニマックス最適レートを達成する適応的非パラメトリック回帰推定器を構築できるか？
• RQ2 滑らかや変調された関数などの局所的に良好にフィルタリング可能な信号に対して、滑らかさパラメータの事前知識なしに推定手順がどのように適応するか？
• RQ3 このような適応的推定器のℓpノルムにおける最適収束速度は何か？ また、滑らかさが事前に分かっている場合に達成可能なオラクルレートと一致するか？
• RQ4 滑らかさが定義域全体で非一様な信号に対しても、同様にほぼ最適な性能を維持できるか？
• RQ5 局所的信号変動とノイズレベル推定の役割は、適応的性能を達成するためにどのように寄与するか？

主な発見

• 提案された適応的推定器は、すべての p > d に対して、局所的滑らかさが事前に分かっている場合と同等のミニマックス収束速度をℓpノルムで達成する。
• 非一様滑らかさを示す Hölder クラスまたは Sobolev クラスに属する信号に対して、推定器は局所的滑らかさパラメータが事前に分かっているオラクル推定器と同等の収束速度を達成する。
• 手法は未知の滑らかさに対してロバストであり、グローバルな滑らかさに基づくチューニングを必要とせず、データ駆動型のフィルタ選択により局所的信号構造に適応する。
• 理論的バインディングにより、推定誤差が (σ_n)^{2β(p,k,d,q)} R^{1−2β(p,k,d,q)} の割合で減少することが示され、β(p,k,d,q) は滑らかさに依存する指数である。この結果、ほぼ最適性が達成される。
• 理論的分析により、滑らか、変調された滑らか、調和的関数を含む広範な信号タイプにおいて、同様に最適な性能を維持することが確認された。
• 収束速度は局所的に良好にフィルタリング可能な信号のクラス全体にわたって一様であり、n → ∞ の漸近的状況において、推定器がほぼミニマックス最適であることが示された。