[논문 리뷰] Quantitative Evaluation of Base and Detail Decomposition Filters Based on their Artifacts

Charles Hessel, Jean‐Michel Morel|arXiv (Cornell University)|2018. 08. 28.

Image Enhancement Techniques참고 문헌 44인용 수 3

한 줄 요약

이 논문은 톤 맵핑 및 대trast 강화 분야에서 사용되는 베이스-디테일 분해 필터를 객관적으로 평가하기 위한 정량적 프레임워크를 제안한다. 이 프레임워크는 빛의 환영, 대비 환영, 계단 현상, 분할 현상의 네 가지 핵심 아티팩트를 식별하고 측정하기 위해 고안된 테스트 패턴과 수학적 공식을 사용한다. 전문가가 검토한 교차 校정 기반의 융합 점수를 도입하여 아티팩트 심각도에 따라 필터를 순위 매기며, 그 결과 세븐 개의 필터 중에서 패스트 로컬 라플라시안 필터(FLL)가 가장 뛰어난 성능을 보였다.

ABSTRACT

This paper introduces a quantitative evaluation of filters that seek to separate an image into its large-scale variations, the base layer, and its fine-scale variations, the detail layer. Such methods have proliferated with the development of HDR imaging and the proposition of many new tone-mapping operators. We argue that an objective quality measurement for all methods can be based on their artifacts. To this aim, the four main recurrent artifacts are described and mathematically characterized. Among them two are classic, the luminance halo and the staircase effect, but we show the relevance of two more, the contrast halo and the compartmentalization effect. For each of these artifacts we design a test-pattern and its attached measurement formula. Then we fuse these measurements into a single quality mark, and obtain in that way a ranking method valid for all filters performing a base+detail decomposition. This synthetic ranking is applied to seven filters representative of the literature and shown to agree with expert artifact rejection criteria.

연구 동기 및 목표

• 톤 맵핑 및 대비 강화에 사용되는 베이스-디테일 분해 필터에 대한 객관적이고 표준화된 평가 방법의 부족 문제를 해결하기 위해.
• 이러한 필터에서 가장 흔하고 인지적으로 중요한 아티팩트를 식별하고 수학적으로 특성화하기 위해.
• 모든 필터가 동일한 수준의 디테일 강화를 제공하도록 필터 파라미터를 교차 보정하여 공정한 비교 방법을 확립하기 위해.
• 독립적인 아티팩트 측정치를 전문가의 기각 기준을 반영하여 하나의 해석 가능한 품질 점수로 융합하기 위해.
• 기존 필터들을 객관적으로 순위 매기고, 전문가 판단과의 일치성을 검증하기 위해.

제안 방법

• 빛의 환영, 대비 환영, 계단 현상(대비 반전), 분할 현상의 네 가지 주요 아티팩트를 정의하고, 각각 고유한 수학적 특성화를 제공한다.
• 각 아티팩트가 발생하고 분리될 수 있도록 특정 테스트 패턴을 설계한다.
• 각 아티팩트에 대응하는 테스트 패턴에 대한 필터의 반응을 바탕으로 측정 공식을 개발한다.
• 모든 필터가 동일한 수준의 디테일 강화를 생성하도록 하기 위해, 교차 보정 절차를 구현한다.
• 전문가의 앙케이트를 통해 각 아티팩트의 수용 가능한 임계값을 결정하고, 이 임계값을 기반으로 아티팩트 점수를 정규화한다.
• 정규화된 아티팩트 점수를 가중 제곱합을 사용하여 하나의 품질 마크로 융합한다: $\mathcal{A}(f) = \frac{\mathcal{H}(f)^2}{\mathcal{H}(\text{IS-}L^0)^2} + \frac{\mathcal{S}(f)^2}{\mathcal{S}(\text{FBF})^2} + \frac{\mathcal{P}(f)^2}{\mathcal{P}(\text{WLS})^2} + \frac{\mathcal{C}(f)^2}{\mathcal{C}(\text{GF})^2}$.

실험 결과

연구 질문

• RQ1 베이스-디테일 분해 필터의 인지적 품질을 가장 심각하게 떨어뜨리는 아티팩트는 무엇인가?
• RQ2 각 아티팩트는 어떻게 제어된 테스트 패턴을 통해 수학적으로 정의하고 고립시킬 수 있는가?
• RQ3 다른 필터들을 동일한 강화 조건에서 비교할 수 있도록 하는 공정하고 일관된 校정 방법은 무엇인가?
• RQ4 독립적인 아티팩트 측정치를 어떻게 하나의 의미 있는 품질 점수로 융합할 수 있는가? 이 점수는 전문가의 기각 행동을 반영해야 한다.
• RQ5 이 객관적이고 아티팩트 기반 평가 기준에서 가장 우수한 성능을 보이는 베이스-디테일 분해 필터는 무엇인가?

주요 결과

• 패스트 로컬 라플라시안 필터(FLL)는 총합 아티팩트 점수가 가장 낮고, 네 가지 아티팩트를 모두 최소화하는 데 뛰어난 성능을 보여 최우수 성능을 기록했다.
• L^0 기울기 최소화를 통한 이미지 스무딩(IS-$L^0$) 필터는 빛의 환영과 계단 현상 아티팩트로 인해 무효화되었으며, 최악의 순위에 머물렀다.
• 도메인 변환(DT) 필터는 빛의 환영과 분할 현상으로 인해 실패했고, 가장 낮은 순위에 머물렀다.
• 가이드 필터(GF)는 주로 대비 환영으로 인해 기각되었으며, 다른 지표에서는 우수한 성능을 보였음에도 불구하고 낮은 순위에 머물렀다.
• FBF와 WLS와 같은 필터들은 두 개 이상의 아티팩트로 인해 무효화되었으며, 고품질의 대비 강화에 적합하지 않음을 확인했다.
• 융합 점수 $\mathcal{A}(f)$에 기반한 최종 순위는 전문가의 기각 결정과 강하게 일치하여, 이 평가 방법의 신뢰성을 검증했다.