[論文レビュー] Robust Guided Image Filtering

Wei Liu, Xiaogang Chen+4 more|arXiv (Cornell University)|Mar 28, 2017

Advanced Vision and Imaging参考文献 35被引用数 9

ひとこと要約

本稿では、ノイズ耐性のためのデータ項と、ガイド画像およびターゲット画像の両方の特性を活用する滑らかさ項を用いて、構造の不一致に対処する統合的最適化フレームワークであるロバストガイド付き画像フィルタリング（RGIF）を提案する。この手法は、1回の最適化でターゲット画像のノイズ除去とガイド付きフィルタリングを同時に実行し、エッジ保持平滑化、深度マップのアップサンプリング、フラッシュ/ノーフラッシュフィルタリング、アーティファクト除去の分野で最先端の性能を達成しており、ハロウや勾配反転、テクスチャの複製を低減しながら微細なディテールを保持する点で、先行手法を上回っている。

ABSTRACT

The process of using one image to guide the filtering process of another one is called Guided Image Filtering (GIF). The main challenge of GIF is the structure inconsistency between the guidance image and the target image. Besides, noise in the target image is also a challenging issue especially when it is heavy. In this paper, we propose a general framework for Robust Guided Image Filtering (RGIF), which contains a data term and a smoothness term, to solve the two issues mentioned above. The data term makes our model simultaneously denoise the target image and perform GIF which is robust against the heavy noise. The smoothness term is able to make use of the property of both the guidance image and the target image which is robust against the structure inconsistency. While the resulting model is highly non-convex, it can be solved through the proposed Iteratively Re-weighted Least Squares (IRLS) in an efficient manner. For challenging applications such as guided depth map upsampling, we further develop a data-driven parameter optimization scheme to properly determine the parameter in our model. This optimization scheme can help to preserve small structures and sharp depth edges even for a large upsampling factor (8x for example). Moreover, the specially designed structure of the data term and the smoothness term makes our model perform well in edge-preserving smoothing for single-image tasks (i.e., the guidance image is the target image itself). This paper is an extension of our previous work [1], [2].

研究の動機と目的

• ガイド付き画像フィルタリングにおける、ターゲット画像の重度なノイズとガイド画像とターゲット画像間の構造の不一致という二重の課題に対処すること。
• ノイズ除去とガイド付きフィルタリングを1つの最適化フレームワークに統合し、性能が低下する可能性がある逐次処理を回避すること。
• シャドウ検出などの補助的手法に依存せず、共同滑らかさ項を用いて構造的差を内蔵的にモデル化すること。
• エッジを保持しながらノイズとテクスチャを平滑化することにより、単一画像タスクにおいて効果的な性能を発揮すること。
• 8倍アップサンプリングのような困難なタスクにおいて、微細構造と鋭いエッジの保持を最適化するデータ駆動型パrameter最適化スキームを開発すること。

提案手法

• ノイズ耐性を高めるために、ターゲット画像のノイズ除去とガイド付きフィルタリングを同時に実行するデータ項を有する非凸最適化フレームワークを提案する。
• ガイド画像およびターゲット画像の両方の構造的特性を組み込んだ滑らかさ項を導入し、構造の不一致に起因するアーティファクトを低減する。
• 非常に非凸な最適化問題を効率的に解くために、反復的重み付き最小二乗法（IRLS）アルゴリズムを採用する。
• テクスチャの複製とエッジのぼやけを抑制しながら微細なディテールを保持するように、特別なデータ項および滑らかさ項の構造を設計する。
• 8倍深度マップアップサンプリングのような困難なタスクで最適なパフォーマンスを得るために、モデルパrameterを自動的にチューニングするデータ駆動型パrameter最適化スキームを開発する。
• フィルタリングの前処理として3×3のメディアンフィルタを適用し、非常に鋭いテクスチャエッジを抑制することで、テクスチャの平滑化を向上させる。

実験結果

リサーチクエスチョン

• RQ1 統合的最適化フレームワークは、逐次処理よりも、ノイズ除去とガイド付きフィルタリングを同時に効果的に行えるか？
• RQ2 外部検出手法に依存せずに、ガイド画像とターゲット画像間の構造の不一致をロバストに処理できるように、滑らかさ項をどのように設計できるか？
• RQ3 高倍率の深度マップアップサンプリングにおいて、提案手法は微細構造と鋭いエッジをどの程度保持できるか？
• RQ4 エッジ保持平滑化の過程で、ハロウや勾配反転を回避する点において、提案手法は最先端技術と比較してどの程度優れているか？
• RQ5 単一画像タスクにおいて、ノイズとテクスチャの平滑化を強力に行いながら、構造的エッジを適切に保持できるか？

主な発見

• データ駆動型パrameter最適化により、微細構造と鋭いエッジを保持する点で、特に8倍アップサンプリングにおいて、ガイド付き深度マップアップサンプリングで優れた性能を発揮する。
• フラッシュ/ノーフラッシュ画像フィルタリングのような応用において、テクスチャの複製アーティファクトを顕著に低減し、シャドウ検出や別段階処理に依存する手法を上回る。
• HDRトーンマッピングやJPEG圧縮アーティファクト除去の分野では、RGIFは圧縮アーティファクトを効果的に除去しながら鋭いエッジを維持し、勾配L0ノルム最適化やJWMFなどの手法を凌駆する。
• 単一画像エッジ保持平滑化において、RGIFはハロウや勾配反転を効果的に回避し、ノイズやテクスチャが強い画像においても強力な性能を示す。
• 特に重度のノイズ下でも微細なテクスチャやエッジを保持する点で、構造平滑化とディテール強化タスクにおいて、先行する最先端手法を上回る結果を得た。
• アブレーションスタディにより、1つのフレームワーク内で統合的ノイズ除去とフィルタリングを実行する方が、分離したノイズ除去とフィルタリングステップよりも優れた性能を発揮することが確認された。