[論文レビュー] Vector Nonlocal Euclidean Median: Principal Bundle Captures The Nature of Patch Space

Chen-Yun Lin, Arin Minasian+2 more|arXiv (Cornell University)|Nov 15, 2016

Image and Signal Denoising Methods参考文献 38被引用数 3

ひとこと要約

本稿では、回転不変性をSO(2)群作用を介して捉えるために、ファイバー束構造を用いてピクセル群の空間をモデル化する、新しい画像ノイズ除去手法であるベクトル非局所ユリウス平均（VNLEM）を提案する。SIFTから得られる方向特徴とリーマン内積距離（RID）を組み合わせることで、従来のNLEMに比べてより高いロバスト性とノイズ除去性能を実現し、1,361枚の画像から構成されるデータベースにおいて、誤差ベース（SNR）および人間視覚系に基づく評価（FSIM）の両面で優れた結果を達成した。

ABSTRACT

We extensively study the rotational group structure inside the patch space by introducing the fiber bundle structure. The rotational group structure leads to a new image denoising algorithm called the extit{vector non-local Euclidean median} (VNLEM). The theoretical aspect of VNLEM is studied, which explains why the VNLEM and traditional non-local mean/non-local Euclidean median (NLEM) algorithm work. The numerical issue of the VNLEM is improved by taking the orientation feature in the commonly applied scale-invariant feature transform (SIFT), and a theoretical analysis of the robustness of the orientation feature in the SIFT is provided. The VNLEM is applied to an image database of 1,361 images and compared with the NLEM. Different image quality assessments based on the error-sensitivity or the human visual system are applied to evaluate the performance. The results confirmed the potential of the VNLEM algorithm.

研究の動機と目的

• 非局所フィルタリングがノイズを含むピクセル群空間でなぜ効果的に機能するのかという理論的説明の欠如に取り組むこと。
• SO(2)をファイバーとし、回転不変なピクセル群を表す基底多様体を備えたファイバー束幾何学を用いて、ピクセル群空間における回転群構造をモデル化すること。
• 回転不変性と方向特徴を組み込んだ幾何学的感度の高いノイズ除去アルゴリズムを設計し、NLEMを改善すること。
• SNRなどの誤差ベースと、FSIMなどの人間の知覚に基づく多様な画像品質評価指標を用いて、VNLEMの性能を評価すること。
• 大規模な画像データベース上でのアルゴリズムの優位性を示し、カラー画像への一般化可能性、マルチ画像ノイズ除去、テクスチャ解析への応用可能性について議論すること。

提案手法

• 各ファイバーがSO(2)回転群に対応するファイバー束としてピクセル群空間をモデル化し、基底多様体は回転不変なピクセル群を表す。
• 回転不変性を考慮したリーマン内積距離（RID）をファイバー束上に定義し、ピクセル群間の類似度を測定する。
• VNLEMアルゴリズムにSIFTの方向特徴を統合し、近隣ピクセルの選定における数値的安定性とロバスト性を向上させる。
• NLEMにおける平均の演算を、RIDで定義された近傍ピクセル群におけるベクトルメディアン演算に置き換え、外れ値に強い性能を実現する。
• RIDに基づく重み付き平均化方式を用いて、エッジや微細構造を保持したノイズ除去ピクセル値を計算する。
• 1,361枚の画像から構成されるデータベースにアルゴリズムを適用し、SNR、PSNR、FSIMなどの指標を用いて性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 NLM や NLEM といった非局所フィルタリング手法がノイズを含むピクセル群空間でなぜ効果的に機能するのか、その背後にある幾何的構造は何か？
• RQ2 画像ピクセル群における回転不変性を数学的にどのようにモデル化すれば、ノイズ除去性能の向上が達成できるか？
• RQ3 SIFTから得られる方向特徴を非局所ノイズ除去アルゴリズムに組み込むことで、ロバスト性と数値的効率が向上するか？
• RQ4 SNR や FSIM といった多様な画像品質評価指標において、VNLEM は NLEM に比べてどの程度優れたノイズ除去品質を示すか？
• RQ5 現在のピクセル群空間における多様体ベースのモデルの限界は何か？ファイバー束構造はそれらをどのように一般化できるか？

主な発見

• SNR や FSIM といった誤差ベースおよび知覚ベースの指標により、VNLEM は NLEM よりも顕著に優れた画像ノイズ除去性能を示し、特にエッジや微細なテクスチャの保持において顕著である。
• SIFT の方向特徴を用いることで、VNLEM における近隣ピクセル選定の数値的安定性とロバスト性が向上し、ピクセル類似度計算におけるノイズへの感受性が低減された。
• SO(2)ファイバーを備えたファイバー束モデルは、回転不変性を幾何学的に整合的に捉える手法を提供し、ピクセル群空間における非局所手法の成功を説明する根拠を示している。
• FSIM 評価では、アルゴリズムに FSIM 特徴を直接組み込んでいないにもかかわらず、VNLEM は NLEM よりも人間の視覚認識に近い結果を生成した。
• 1,361枚の画像にわたる統計的分析により、VNLEM が NLEM よりも顕著かつ一貫した性能向上を示すことが確認された。
• 提案手法はカラー画像やマルチ画像ノイズ除去への応用にも強く、グレースケール画像にとどまらない広範な応用可能性を示している。