[論文レビュー] Edge-Preserving Piecewise Linear Image Smoothing Using Piecewise Constant Filters

Wei Liu, Wei Xu+4 more|arXiv (Cornell University)|Jan 22, 2018

Image Enhancement Techniques参考文献 19被引用数 4

ひとこと要約

本稿では、古典的な区分定数フィルタを再定式化することで、空間的に区分線形出力モデルを強制する手法を一般化したフレームワークを提案する。この手法により、特にディテール強調、HDRトーンマッピング、フラッシュ/ノーフラッシュフィルタリングなどの応用分野で一般的に見られる勾配反転アーティファクトを効果的に低減できる。また、量子化された高速化手法においても、品質を損なわずに品質を維持しつつ、より少ないビン数で計算コストを削減できる。

ABSTRACT

Most image smoothing filters in the literature assume a piecewise constant model of smoothed output images. However, the piecewise constant model assumption can cause artifacts such as gradient reversals in applications such as image detail enhancement, HDR tone mapping, etc. In these applications, a piecewise linear model assumption is more preferred. In this paper, we propose a simple yet very effective framework to smooth images of piecewise linear model assumption using classical filters with the piecewise constant model assumption. Our method is capable of handling with gradient reversal artifacts caused by the piecewise constant model assumption. In addition, our method can further help accelerated methods, which need to quantize image intensity values into different bins, to achieve similar results that need a large number of bins using a much smaller number of bins. This can greatly reduce the computational cost. We apply our method to various classical filters with the piecewise constant model assumption. Experimental results of several applications show the effectiveness of the proposed method.

研究の動機と目的

• 古典的フィルタにおける区分定数モデルの仮定に起因するエッジ保持画像平滑化における勾配反転アーティファクトを解消すること。
• コアアルゴリズムを変更せずに、既存の区分定数フィルタを用いて区分線形平滑化を可能にすること。
• 強度量子化に依存する高速化手法において、品質を損なわずにビン数を減らすことで計算コストを低減すること。
• バイラテラル、アダプティブマニフォールド、ドメイン変換、重み付き中央値フィルタを含む複数の古典的フィルタに適用可能な統一フレームワークを提供すること。
• 画像ディテール強調、HDRトーンマッピング、フラッシュ/ノーフラッシュ画像フィルタリングといった主要な応用分野における有効性を示すこと。

提案手法

• 空間的に区分線形モデルを用いた画像平滑化を再定式化：$\hat{I}_{\mathbf{p}} = \mathbf{a}_k^T\mathbf{p} + b_k$（$\mathbf{p} \in N(k)$）で定義される局所的領域$N(k)$内でのモデル化。
• 入力画像の勾配を平滑化する際、元の画像をガイドとして用いて、古典的な区分定数フィルタ（例：バイラテラル、重み付き中央値）を適用。
• 2段階のプロセスを採用：まず、フィルタを用いて勾配を平滑化し、次に、平滑化された勾配を統合して区分線形出力を再構築。
• 勾配ドメインにおける平滑化とエッジ保持のトレードオフを制御するパrameter $\beta$ を導入。
• バイラテラル、アダプティブマニフォールド、ドメイン変換、重み付き中央値、および$L_0$ノルム平滑化など、複数のフィルタにこのフレームワークを適用。
• 既存の高速化フィルタ（例：重み付き中央値）の構造を活用し、量子化アーティファクトを抑制しながら、強度量子化におけるビン数を削減。

実験結果

リサーチクエスチョン

• RQ1 古典的な区分定数フィルタを用いて、区分線形平滑化モデルを効果的に近似できるか？
• RQ2 区分線形平滑化を適用することで、ディテール強調およびHDRトーンマッピングにおける勾配反転アーティファクトが低減するか？
• RQ3 提案手法により、量子化された高速化フィルタの計算コストを品質を損なわずに低減できるか？
• RQ4 アーティファクト低減および視覚的品質の観点から、ガイド付き画像フィルタと比較して、本手法の性能はどの程度か？
• RQ5 本フレームワークは、最小限の修正で複数の古典的フィルタに一般化可能か？

主な発見

• 提案手法は、図2および図7に示すように、ディテール強調において勾配反転アーティファクトを効果的に除去し、ガイド付き画像フィルタ [8] の品質に匹敵する結果を得た。
• HDRトーンマッピングにおいては、葉などの微細構造を保持し、区分定数平滑化で生じるアーティファクトを回避することができた。図8で確認された。
• フラッシュ/ノーフラッシュフィルタリングにおいては、アダプティブマニフォールドおよび重み付き中央値フィルタの結果に見られる勾配反転アーティファクトを抑制した。図9に示された。
• 本手法により、重み付き中央値フィルタが数百ビンではなく16ビンで高品質な結果を達成でき、計算コストを顕著に削減した。
• バイラテラル、ドメイン変換、および$L_0$ノルム平滑化を含む複数の古典的フィルタに本フレームワークを適用した結果、広範な適用可能性が示された。
• 視覚的比較により、本手法はガイド付き画像フィルタ [8]（最先端の区分線形フィルタ）と見分けがつかない結果を生成した。