[論文レビュー] Quantitative Evaluation of Base and Detail Decomposition Filters Based on their Artifacts

Charles Hessel, Jean‐Michel Morel|arXiv (Cornell University)|Aug 28, 2018

Image Enhancement Techniques参考文献 44被引用数 3

ひとこと要約

本論文は、明度ハロー、コントラストハロー、階段状効果、コンパートメンタル化の4つの主要なアーティファクトを特定・測定することで、ベース・ディテール分解フィルタを客観的に評価する定量的フレームワークを提案する。テストパターンと数学的式を用いて、各アーティファクトの度合いを測定し、クロスキャリブレーションされた専門家アノテーションによる統合スコアを導入することで、7つのフィルタの中から高速ローカルラプラシアンフィルタ（FLL）が最も優れた性能を示した。

ABSTRACT

This paper introduces a quantitative evaluation of filters that seek to separate an image into its large-scale variations, the base layer, and its fine-scale variations, the detail layer. Such methods have proliferated with the development of HDR imaging and the proposition of many new tone-mapping operators. We argue that an objective quality measurement for all methods can be based on their artifacts. To this aim, the four main recurrent artifacts are described and mathematically characterized. Among them two are classic, the luminance halo and the staircase effect, but we show the relevance of two more, the contrast halo and the compartmentalization effect. For each of these artifacts we design a test-pattern and its attached measurement formula. Then we fuse these measurements into a single quality mark, and obtain in that way a ranking method valid for all filters performing a base+detail decomposition. This synthetic ranking is applied to seven filters representative of the literature and shown to agree with expert artifact rejection criteria.

研究の動機と目的

• トーンマッピングおよびコントラスト強調に用いられるベース・ディテール分解フィルタに対する、客観的で標準化された評価手法の不足に対処すること。
• このようなフィルタに見られる最も一般的で知覚的に顕著なアーティファクトを特定し、数学的に特徴づけること。
• 異なるフィルタのパラメータを交差キャリブレーションすることで、同等の強調レベルが得られるように統一し、公平な比較手法を確立すること。
• 専門家の拒否基準を用いて、独立したアーティファクト測定値を統合し、解釈可能な1つの品質スコアに融合すること。
• 既存のフィルタを、アーティファクトに基づく客観的な順位付けを行い、専門家の判断と照合して妥当性を検証すること。

提案手法

• 明度ハロー、コントラストハロー、階段状効果（コントラスト反転）、コンパートメンタル化の4つの主なアーティファクトを定義し、それぞれに明確な数学的特徴づけを施す。
• 各アーティファクトを引き出し、その存在を分離できるように、特定のテストパターンを設計する。
• 各アーティファクトに対して、その対応するテストパターンへのフィルタ出力反応に基づいた測定式を開発する。
• フィルタのパラメータを交差キャリブレーションすることで、すべてのフィルタが同じレベルのディテール強調を達成するように調整し、公平な比較を可能にする。
• 専門家のアノテーションを用いて各アーティファクトの受容限界を特定し、これらの限界値を用いてアーティファクトスコアを正規化する。
• 正規化されたアーティファクトスコアを、重み付き正規化スコアの二乗和を用いて統合し、1つの品質マーキングを生成する：$\mathcal{A}(f) = \frac{\mathcal{H}(f)^2}{\mathcal{H}(\text{IS-}L^0)^2} + \frac{\mathcal{S}(f)^2}{\mathcal{S}(\text{FBF})^2} + \frac{\mathcal{P}(f)^2}{\mathcal{P}(\text{WLS})^2} + \frac{\mathcal{C}(f)^2}{\mathcal{C}(\text{GF})^2}$。

実験結果

リサーチクエスチョン

• RQ1 ベース・ディテール分解フィルタの知覚的品質を最も顕著に損なうアーティファクトは何か？
• RQ2 各アーティファクトは、制御されたテストパターンを用いてどのように数学的に定義され、分離可能か？
• RQ3 異なるフィルタを同等の強調条件下で比較できる、公平で一貫性のあるキャリブレーション手法は何か？
• RQ4 独立したアーティファクト測定値は、専門家の拒否行動を反映する意味のある1つの品質スコアにどのように統合できるか？
• RQ5 このアーティファクトに基づく客観的評価において、最も優れたベース・ディテール分解フィルタは何か？

主な発見

• 高速ローカルラプラシアンフィルタ（FLL）は、総合的なアーティファクトスコアが最低で、4つのアーティファクトすべてを最小限に抑える優れた性能を示し、1位にランクされた。
• $L^0$勾配最小化による画像平滑化（IS-$L^0$）フィルタは、明度ハローと階段状効果のアーティファクトにより無効とされ、最悪のランクに位置付けられた。
• ドメイン変換（DT）フィルタは、明度ハローとコンパートメンタル化のアーティファクトにより失敗し、最低ランクに位置付けられた。
• ガイドドフィルタ（GF）は、主にコントラストハローのため拒否されたが、他の指標では良好な性能を示したにもかかわらず、低い順位にランクされた。
• FBF や WLS などのフィルタは、2つ以上のアーティファクトにより無効とされたことから、高品質なコントラスト強調には適さないことが確認された。
• 統合スコア $\mathcal{A}(f)$ に基づく最終順位は、専門家の拒否意思と強く一致しており、本手法の信頼性が裏付けられた。