[論文レビュー] Robust Piecewise-Constant Smoothing: M-Smoother Revisited

Linchao Bao, Qingxiong Yang|arXiv (Cornell University)|Oct 28, 2014

Advanced Vision and Imaging参考文献 13被引用数 5

ひとこと要約

この論文は、M-smootherを再考し、重み付き平均フィルタリング操作（例：ボックス、ガウス、バイラテラル、ガイド付きフィルタ）の系列として再定式化することで、ロバストな区分的定数平滑化を実現する。その後にウィナーテイクアラステップを適用する。このフレームワークにより、ヒストグラムベースのフィルタの効率的近似とエッジ保持フィルタの強化が可能となり、GPUでリアルタイム性能を達成し、深度マップと視差マップにおいて優れたノイズ除去効果を発揮する。

ABSTRACT

A robust estimator, namely M-smoother, for piecewise-constant smoothing is revisited in this paper. Starting from its generalized formulation, we propose a numerical scheme/framework for solving it via a series of weighted-average filtering (e.g., box filtering, Gaussian filtering, bilateral filtering, and guided filtering). Because of the equivalence between M-smoother and local-histogram-based filters (such as median filter and mode filter), the proposed framework enables fast approximation of histogram filters via a number of box filtering or Gaussian filtering. In addition, high-quality piecewise-constant smoothing can be achieved via a number of bilateral filtering or guided filtering integrated in the proposed framework. Experiments on depth map denoising show the effectiveness of our framework.

研究の動機と目的

• 重み付き平均フィルタリングを通じてM-smootherを再解釈することにより、区分的定数平滑化のための効率的なフレームワークを開発すること。
• ボックスフィルターやガウスフィルタなどの標準的なフィルタリング操作を用いて、局所ヒストグラムに基づくフィルタ（例：中央値、最頻値）の高速近似を可能にすること。
• バイラテラルフィルターやガイド付きフィルタなどの既存のエッジ保持フィルタを、ロバスト損失関数との統合により、高品質な区分的定数平滑化に向上させること。
• 深度マップや視差マップのノイズ除去といった実用的応用において、GPU上でリアルタイム性能を達成すること。

提案手法

• M-smootherを重み付き平均フィルタリング操作の系列とし、その後にウィナーテイクアラステップを適用することで、区分的定数出力を得る。
• ロバスト損失関数（例：切り捨てL1ノルム）を用いたM-smootherの一般化された定式化を用い、フィルタリング操作をガイドする。
• ボックス、ガウス、バイラテラル、ガイド付きフィルタなどの高速フィルタリングアルゴリズムを、計算効率と並列処理可能性を活かして採用する。
• データ依存のコスト関数に対して放物線近似を適用し、完全な最適化を実行せずに最小値を効率的に特定する。
• クリアなRGB画像をガイドとして用いる共同フィルタリングを適用し、深度マップのノイズ除去と視差マップの精緻化を向上させる。
• CUDAを用いてGPU上でフレームワークを実装し、ガイド付きフィルタリングで1メガピクセルあたり約30 msのリアルタイム性能を達成する。

実験結果

リサーチクエスチョン

• RQ1 ボックスフィルターやガウスフィルタなどの標準的な重み付き平均フィルタを用いて、M-smootherを効率的に近似できるか？
• RQ2 バイラテラルフィルターやガイド付きフィルタなど、エッジ保持フィルタをロバスト損失関数と統合することで、区分的定数平滑化にどの程度向上できるか？
• RQ3 実際の応用において、提案されたフレームワークは局所ヒストグラムに基づくフィルタ（例：中央値、最頻値）をどの程度正確に近似できるか？
• RQ4 現代のGPU上で、深度マップおよび視差マップ処理において、このフレームワークはリアルタイム性能を達成できるか？

主な発見

• 提案されたフレームワークは、ボックスフィルターやガウスフィルタのわずかな操作のみで、ヒストグラムベースのフィルタを効果的に近似し、高品質な区分的定数平滑化を実現する。
• バイラテラルフィルターやガイド付きフィルタにロバスト損失関数（例：切り捨てL1ノルム）を統合することで、深度マップのノイズ除去における平滑化品質とエッジ保持性が顕著に向上する。
• フレームワークはGPU上でリアルタイム性能を達成でき、強化されたガイド付きフィルタリングは1メガピクセルあたり約30 msで実行される。
• Middleburyベンチマークにおける視覚的および定量的評価から、提案手法は標準的な共同フィルタリングよりもクリアでシャープな視差マップを生成することが示された。
• マイクロソフトKinectからの不正領域（黒い穴）の復元に成功し、実世界のノイズに対しても高いロバスト性を示した。