[논문 리뷰] Edge-Preserving Piecewise Linear Image Smoothing Using Piecewise Constant Filters

Wei Liu, Wei Xu외 4명|arXiv (Cornell University)|2018. 01. 22.

Image Enhancement Techniques참고 문헌 19인용 수 4

한 줄 요약

이 논문은 고전적인 조각별로 일정한 필터를 재구성하여 공간적으로 조각별로 선형인 출력 모델을 강제함으로써, 조각별로 일정한 필터를 사용한 에지 보존형 조각별 선형 이미지 스무딩을 위한 일반적인 프레임워크를 제안한다. 이 방법은 특히 디테일 강조, HDR 톤 매핑, 플래시/노플래시 필터링과 같은 응용 분야에서 흔히 발생하는 기울기 반전 아티팩트를 효과적으로 제거하며, 품질을 훼손하지 않으면서도 양자화된 가속화 방법에서 더 적은 박스 수를 허용함으로써 계산 비용을 감소시킨다.

ABSTRACT

Most image smoothing filters in the literature assume a piecewise constant model of smoothed output images. However, the piecewise constant model assumption can cause artifacts such as gradient reversals in applications such as image detail enhancement, HDR tone mapping, etc. In these applications, a piecewise linear model assumption is more preferred. In this paper, we propose a simple yet very effective framework to smooth images of piecewise linear model assumption using classical filters with the piecewise constant model assumption. Our method is capable of handling with gradient reversal artifacts caused by the piecewise constant model assumption. In addition, our method can further help accelerated methods, which need to quantize image intensity values into different bins, to achieve similar results that need a large number of bins using a much smaller number of bins. This can greatly reduce the computational cost. We apply our method to various classical filters with the piecewise constant model assumption. Experimental results of several applications show the effectiveness of the proposed method.

연구 동기 및 목표

• 고전적 필터에서 조각별로 일정한 모델 가정으로 인해 발생하는 에지 보존형 이미지 스무딩에서의 기울기 반전 아티팩트를 해결하기 위해.
• 기본 알고리즘을 수정하지 않고 기존의 조각별로 일정한 필터를 사용하여 조각별 선형 스무딩을 가능하게 하기 위해.
• 강도 양자화에 의존하는 가속화 방법에서 품질을 유지하면서도 더 적은 박스 수를 허용함으로써 계산 비용을 감소시키기 위해.
• 이중성 필터, 적응형 다변량, 도메인 변환, 가중 중앙값 필터를 포함한 여러 고전적 필터에 적용 가능한 통합 프레임워크를 제공하기 위해.
• 이미지 디테일 강조, HDR 톤 매핑, 플래시/노플래시 이미지 필터링과 같은 핵심 응용 분야에서의 효과성을 입증하기 위해.

제안 방법

• 공간적으로 조각별로 선형인 모델을 사용하여 이미지 스무딩을 재구성: $\hat{I}_{\mathbf{p}} = \mathbf{a}_k^T\mathbf{p} + b_k$ for $\mathbf{p} \in N(k)$, 여기서 $N(k)$ 는 국부적 영역을 정의한다.
• 입력 이미지의 기울기에서 고전적인 조각별로 일정한 필터(예: 이중, 가중 중앙값)를 적용하며, 원본 이미지를 스무딩 과정의 가이드로 사용한다.
• 이중 단계 프로세스를 사용: 첫째, 필터를 사용해 기울기를 스무딩한다; 둘째, 스무딩된 기울기를 통합하여 조각별 선형 출력을 재구성한다.
• 기울기 도메인에서 스무딩과 에지 보존 사이의 트레이드오프를 제어하기 위해 파라미터 $\beta$ 를 도입한다.
• 이중, 적응형 다변량, 도메인 변환, 가중 중앙값, $L_0$ 노름 스무딩 등 여러 필터에 이 프레임워크를 적용한다.
• 기존의 가속화된 필터(예: 가중 중앙값)의 구조를 활용하여 강도 양자화에서 박스 수를 줄이고, 양자화 아티팩트를 억제한다.

실험 결과

연구 질문

• RQ1 고전적인 조각별로 일정한 필터를 사용하여 조각별 선형 스무딩 모델을 효과적으로 근사할 수 있는가?
• RQ2 조각별 선형 스무딩을 적용할 경우, 디테일 강조 및 HDR 톤 매핑에서 기울기 반전 아티팩트가 감소하는가?
• RQ3 제안된 방법이 품질을 떨어뜨리지 않으면서도, 양자화된 가속화 필터의 계산 비용을 줄일 수 있는가?
• RQ4 아티팩트 억제 및 시각적 품질 측면에서 이중 이미지 필터와 비교해 본 결과, 제안된 방법의 성능는 어떠한가?
• RQ5 이 프레임워크는 최소한의 수정으로 여러 고전적 필터에 일반화될 수 있는가?

주요 결과

• 제안된 방법은 그림 2와 그림 7에서 보듯이 디테일 강조에서 기울기 반전 아티팩트를 성공적으로 제거하였으며, 결과적으로 가이드 이미지 필터 [8]의 품질과 일치한다.
• HDR 톤 매핑에서는 잎과 같은 미세한 구조를 보존하며, 조각별로 일정한 스무딩에서 나타나는 아티팩트를 피하는 것으로 확인되었으며, 그림 8에서 이를 입증하였다.
• 플래시/노플래시 필터링에서는 적응형 다변량 및 가중 중앙값 필터 결과에서 관찰되는 기울기 반전 아티팩트를 억제하는 것으로 나타났으며, 그림 9에서 이를 확인하였다.
• 이 방법 덕분에 가중 중앙값 필터는 수백 개의 박스 대신 16개의 박자만으로도 고성능 결과를 달성할 수 있었으며, 계산 비용을 크게 감소시켰다.
• 이 프레임워크는 이중, 도메인 변환, $L_0$ 노름 스무딩 등 여러 고전적 필터에 효과적으로 적용되었으며, 광범위한 적용 가능성을 보였다.
• 시각적 비교 결과, 제안된 방법은 가이드 이미지 필터 [8]과 시각적으로 구별되지 않을 정도로 우수한 결과를 생성하였다. 이는 최첨단 조각별 선형 필터이다.