[論文レビュー] Self Consistency: A General Recipe for Wavelet Estimation With Irregularly-spaced and/or Incomplete Data

Thomas C. M. Lee, Xiao‐Li Meng|ArXiv.org|Jan 6, 2007

Image and Signal Denoising Methods参考文献 47被引用数 6

ひとこと要約

本論文は、不規則に配置されたデータや欠損データを、均等間隔のグリッドにおける欠損観測値として扱うことで、不規則な間隔や不完全なデータに対する自己整合性フレームワークを提案する。EM型アルゴリズムと複数の多重代入を活用することで、非独立同分布（non-iid）、非正規、または相関のあるノイズ下でも、標準的なウェーブレットスhrinkage手法を適用可能にし、最小限の仮定（欠損データメカニズムを除く）で信号の平滑化や画像ノイズ除去において優れた経験的性能を示す。

ABSTRACT

Inspired by the key principle behind the EM algorithm, we propose a general methodology for conducting wavelet estimation with irregularly-spaced data by viewing the data as the observed portion of an augmented regularly-spaced data set. We then invoke the self-consistency principle to define our wavelet estimators in the presence of incomplete data. Major advantages of this approach include: (i) it can be coupled with almost any wavelet shrinkage methods, (ii) it can deal with non--Gaussian or correlated noise, and (iii) it can automatically handle other kinds of missing or incomplete observations. We also develop a multiple-imputation algorithm and fast EM-type algorithms for computing or approximating such estimates. Results from numerical experiments suggest that our algorithms produce favorite results when comparing to several common methods, and therefore we hope these empirical findings would motivate subsequent theoretical investigations. To illustrate the flexibility of our approach, examples with Poisson data smoothing and image denoising are also provided.

研究の動機と目的

• 等間隔で完全なデータ、かつ2の累乗のサンプルサイズを仮定する標準的なウェーブレット手法の限界を解消すること。
• 補間や強い滑らかさの仮定に依存せずに、不規則な間隔や欠損データを扱える、ウェーブレット推定の一般枠組みを構築すること。
• ハードスレッショルド、SURE、MDLなどの既存のウェーブレットスクリーニング手法を、原理的で統計的なアプローチにより、不完全または不規則に配置されたデータに適用可能にする。
• 自己整合的推定を高効率に実行できる、高速なEM型および多重代入プロシージャを含む、計算的に効率的なアルゴリズムを提供すること。
• 非正規分布（例：ポisson分布）のデータや欠損ピクセルを伴う画像ノイズ除去への応用を通じて、本手法の柔軟性と頑健性を実証すること。

提案手法

• 不規則に配置されたデータや欠損データを、均等間隔のグリッドにおける欠損観測値として扱い、欠損データ推定問題として定式化する。
• EMアルゴリズムにインspiredされた自己整合性の原則を適用し、繰り返し欠損値を代入し、推定値を更新することで、ウェーブレット係数を反復的に推定する。
• ハードスレッショルド、SURE、MDL、交差検証などの任意のウェーブレットスクリーニング手法と統合することで、代入と推定のサイクルに組み込むことが可能である。
• 複数の多重代入により、欠損値が補完された複数のデータセットを生成し、それらの結果を統合することで、頑健なウェーブレット推定値を得る。
• 特に大規模な問題に対しては、自己整合的推定を効率的に近似するための高速なEM型アルゴリズムを導出する。
• 代入された均等間隔グリッドフレームワーク下で観測データの尤度をモデル化することで、非正規および相関のあるノイズを扱う。

実験結果

リサーチクエスチョン

• RQ1 補間や滑らかさの仮定に依存せずに、補間や滑らかさの仮定に依存せずに、原理的で統計的な枠組みを用いて不規則な間隔や欠損データに対するウェーブレット推定を一般化できるか？
• RQ2 統一的な計算フレームワークを通じて、既存のウェーブレットスクリーニング手法を、欠損または不規則に配置されたデータに適応できるか？
• RQ3 平均二乗誤差（MSE）と頑健性の観点から、自己整合的ウェーブレット推定器は、標準的な補間ベースや正則化手法と比較して、どのような性能を示すか？
• RQ4 高次元設定下で、自己整合的ウェーブレット推定を計算するためのEM型および多重代入アルゴリズムを、どのように効率的に設計できるか？
• RQ5 欠損データメカニズム下で、自己整合的ウェーブレット推定器に、一貫性やバイアス低減といった理論的性質を確立できるか？

主な発見

• 提案された自己整合的ウェーブレット推定器は、非正規および相関のあるノイズ環境下で、一般的な補間ベース手法と比較して平均二乗誤差（MSE）が優れている。
• 数値実験の結果、従来の正規分布仮定が失敗するポisson分布に従うデータの平滑化においても、本手法は良好な性能を示す。
• 欠損ピクセルを伴う画像ノイズ除去において、ランダムおよびクラスタ型の欠損データに対しても、本手法は画像を効果的に再構築し、MSE比においてベースライン手法を上回る。
• 多重代入に基づくMISCアルゴリズムとEM型RefAアルゴリズムは、安定的かつ高精度な推定値を生成し、図7のボックスプロットは、試行回数にかかわらず一貫した優位性を示している。
• 本手法は、非独立同分布（non-iid）および非正規ノイズ、さまざまな欠損データメカニズムに対しても頑健であり、設計点の分布を明示的にモデル化する必要がない。
• 反復的代入と推定サイクルに標準的なウェーブレットスクリーニングルール（例：SURE、MDL）を埋め込むことで、不完全データに対してもそれらを適用可能にする。