[論文レビュー] Sparse Norm Filtering

Chengxi Ye, Dacheng Tao+3 more|arXiv (Cornell University)|May 17, 2013

Image Enhancement Techniques参考文献 19被引用数 3

ひとこと要約

本稿では、l^pノルム（p=0,1,2）を用いたスパース最適化問題としてエッジを保全する平滑化を定式化する、新しい効率的な画像フィルタリングフレームワーク、スパースノルムフィルタ（SNF）を紹介する。SNFはハローエフェクトのない結果を達成し、バイラテラルフィルタと同等の計算コストでありながら、デブラーイング、ノイズ除去、セグメンテーション、シームレス編集にまで及ぶ高品質な応用を可能にする非局所的でスパースノルムに基づく重み付けを活用する。

ABSTRACT

Optimization-based filtering smoothes an image by minimizing a fidelity function and simultaneously preserves edges by exploiting a sparse norm penalty over gradients. It has obtained promising performance in practical problems, such as detail manipulation, HDR compression and deblurring, and thus has received increasing attentions in fields of graphics, computer vision and image processing. This paper derives a new type of image filter called sparse norm filter (SNF) from optimization-based filtering. SNF has a very simple form, introduces a general class of filtering techniques, and explains several classic filters as special implementations of SNF, e.g. the averaging filter and the median filter. It has advantages of being halo free, easy to implement, and low time and memory costs (comparable to those of the bilateral filter). Thus, it is more generic than a smoothing operator and can better adapt to different tasks. We validate the proposed SNF by a wide variety of applications including edge-preserving smoothing, outlier tolerant filtering, detail manipulation, HDR compression, non-blind deconvolution, image segmentation, and colorization.

研究の動機と目的

• 従来の手法に見られる制限を克服する統合的で効率的なエッジを保全する画像フィルタリングフレームワークの開発を目的とする。
• バイラテラルフィルタのような重み付き平均フィルタで一般的に見られるハローエフェクトを、スパースノルムペナルティの導入によって解消することを目的とする。
• バイラテラルフィルタと同等の計算効率を達成しつつ、より広範なフィルタリングタスクの範囲をカバーすることを目的とする。
• 平均化、メディアンフィルタなど古典的なフィルタを、一般化されたスパースノルムフィルタリングフレームワークの特別なケースとして統一することを目的とする。
• SNFの高速でワンパス計算の特性を活かして、正規化カットやポisson編集といった複雑なビジョンパイプラインを高速化することを目的とする。

提案手法

• 画像フィルタリングを、データ適合性と勾配に対するスパースノルムペナルティの和として最小化するコスト関数として定式化し、l^pノルム（p=0,1,2）を正則化に用いる。
• 各画素の出力が、すべての近隣画素からのずれを、スパースノルムペナルティで重み付けした非局所的近傍構造に基づいて最小化することで決定される。
• 効率的な最適化を実現するため、勾配降下法を用い、ほとんどの応用で10回未満の反復で収束する。
• ボックスフィルタとインテグラル画像を活用して近傍和の高速計算を実現し、近傍サイズにかかわらず定数時間でのフィルタリングを可能にする。
• ガイド画像を用いて重みを計算することで、ジョイントフィルタリングへの拡張を実現し、フラッシュ/ノーフラッシュノイズ除去やカラー化への応用を可能にする。
• ポisson方程式を解くためにl^2ノルムを適用し、非局所勾配拡散を用いてシームレスな画像編集を実現し、遅い線形システムの解法に代わる。

実験結果

リサーチクエスチョン

• RQ1 スパースノルム最適化を用いて、平均化やメディアンフィルタといった古典的フィルタを一般化する統合的フィルタリングフレームワークを設計可能か？
• RQ2 スパースノルムフィルタリングは、最適化ベースのフィルタと同等のハローエフェクトのない結果を達成しつつ、重み付き平均フィルタの効率性を維持できるか？
• RQ3 SNFフレームワークは、正規化カットやポissonベースの画像編集といった計算コストの高いタスクをどの程度高速化できるか？
• RQ4 l^pノルム（p=0,1,2）を用いることで、ノイズ除去、デブラーイング、セグメンテーションといったさまざまな画像処理タスクをどの程度うまくモデル化できるか？
• RQ5 SNFは、フラッシュ/ノーフラッシュノイズ除去やカラー化といったジョイントフィルタリングの状況において、最小限の計算コストで効果的に適用可能か？

主な発見

• SNFフレームワークはエッジを保全する平滑化においてハローエフェクトのない結果を生成し、バイラテラルフィルタのような従来の重み付き平均フィルターよりも優れた視覚的品質を達成する。
• SNFはバイラテラルフィルタと同等の計算効率を達成しており、C++では1メガピクセルあたり0.01秒、Matlabでは0.04秒の実行時間である。
• 近傍半径に応じて10倍から100倍の高速化が達成され、正規化カットの高速化が、遅い行列乗算の代わりに高速なSNFベースのフィルタリングによって実現される。
• フラッシュ/ノーフラッシュノイズ除去において、p=0.2およびr=11のジョイントSNFは、ノイズを効果的に除去するとともに細部を保持しており、図8に示されている。
• シームレス編集において、SNFベースのポアソンソルバは10回未満の反復で収束し、元のポアソン法と視覚的に区別がつかない結果を生成するが、3倍速い。
• カラー化において、p=0.1および画像高さの1/4のrを用いたSNFベースの手法は、10回未満の反復で高品質な結果を達成し、先行研究を上回るか同等の性能を示している（図10）。