[논문 리뷰] Robust Guided Image Filtering

Wei Liu, Xiaogang Chen외 4명|arXiv (Cornell University)|2017. 03. 28.

Advanced Vision and Imaging참고 문헌 35인용 수 9

한 줄 요약

이 논문은 잡음에 강한 저항성을 가지며, 구도 이미지와 대상 이미지의 구조 일관성 문제를 동시에 해결하는 통합 최적화 프레임워크인 강력한 가이드 이미지 필터링(RGIF)을 제안한다. 데이터 항목은 잡음에 대한 강건성을 향상시키고, 매끄러움 항목은 가이드 이미지와 대상 이미지의 특성을 동시에 활용하여 구조 불일치 문제를 완화한다. 이 방법은 에지 유지 스무딩, 깊이 맵 업샘플링, 플래시/노플래시 필터링, 아티팩트 제거 등에서 최신 기술을 능가하며, 환영 현상, 기울기 반전, 텍스처 복제 현상을 줄이고 미세한 디테일을 유지한다.

ABSTRACT

The process of using one image to guide the filtering process of another one is called Guided Image Filtering (GIF). The main challenge of GIF is the structure inconsistency between the guidance image and the target image. Besides, noise in the target image is also a challenging issue especially when it is heavy. In this paper, we propose a general framework for Robust Guided Image Filtering (RGIF), which contains a data term and a smoothness term, to solve the two issues mentioned above. The data term makes our model simultaneously denoise the target image and perform GIF which is robust against the heavy noise. The smoothness term is able to make use of the property of both the guidance image and the target image which is robust against the structure inconsistency. While the resulting model is highly non-convex, it can be solved through the proposed Iteratively Re-weighted Least Squares (IRLS) in an efficient manner. For challenging applications such as guided depth map upsampling, we further develop a data-driven parameter optimization scheme to properly determine the parameter in our model. This optimization scheme can help to preserve small structures and sharp depth edges even for a large upsampling factor (8x for example). Moreover, the specially designed structure of the data term and the smoothness term makes our model perform well in edge-preserving smoothing for single-image tasks (i.e., the guidance image is the target image itself). This paper is an extension of our previous work [1], [2].

연구 동기 및 목표

• 가이드 이미지 필터링에서 대상 이미지의 강한 잡음과 가이드 이미지 및 대상 이미지 간의 구조 불일치 문제를 동시에 해결하기 위해.
• 노이즈 제거와 가이드 이미지 필터링을 별도의 최적화 프로세스로 나누지 않고 하나의 최적화 프레임워크로 통합하여 성능 저하를 방지하기 위해.
• 보조 방법(예: 그림자 검출)에 의존하지 않고, 공동 매끄러움 항목을 통해 구조적 차이를 내재적으로 모델링함으로써 외부 검출 방법에 의존하지 않도록 하기 위해.
• 단일 이미지 작업에서 에지를 유지하면서 노이즈와 텍스처를 스무딩함으로써 효과적인 성능을 발휘할 수 있도록 하기 위해.
• 특히 고배율 업샘플링 작업에서 미세한 구조와 날카운 에지를 잘 유지할 수 있도록 데이터 기반 파rameter 최적화 기법을 개발하기 위해.

제안 방법

• 노이즈에 강건성을 높이기 위해 대상 이미지의 노이즈 제거와 가이드 이미지 필터링을 동시에 수행하는 데이터 항목을 포함한 비볼록 최적화 프레임워크를 제안한다.
• 가이드 이미지와 대상 이미지 양측의 구조적 특성을 통합한 매끄러움 항목을 도입하여, 구조 불일치로 인한 아티팩트를 감소시킨다.
• 매우 비볼록적인 최적화 문제를 효율적으로 해결하기 위해 반복적으로 가중치를 부여하는 최소 제곱법(IRLS) 알고리즘을 활용한다.
• 텍스처 복제와 에지 흐림 현상을 억제하면서도 미세한 디테일을 유지하기 위해 특수 설계된 데이터 항목과 매끄러움 항목의 구조를 설계한다.
• 특히 8× 깊이 맵 업샘플링과 같은 도전적인 작업에서 최적 성능을 내기 위해 모델 파rameter를 자동으로 조정할 수 있는 데이터 기반 파rameter 최적화 기법을 개발한다.
• 필터링 이전에 매우 날카운 텍스처 에지를 억제하기 위해 사전 처리 단계로 3×3 중앙값 필터를 적용하여 텍스처 스무딩 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 일관된 최적화 프레임워크를 통해 순차적 처리 방식보다 노이즈 제거와 가이드 이미지 필터링을 더 효과적으로 동시에 달성할 수 있는가?
• RQ2 외부 검출 방법에 의존하지 않고도, 가이드 이미지와 대상 이미지 간의 구조 불일치 문제를 강건하게 처리할 수 있도록 매끄러움 항목을 어떻게 설계할 수 있는가?
• RQ3 고배율 깊이 맵 업샘플링에서 제안된 방법이 미세한 구조와 날카운 에지를 얼마나 잘 유지할 수 있는가?
• RQ4 에지 유지 스무딩 과정에서 환영 현상과 기울기 반전을 방지하는 데 있어, 제안된 방법이 최신 기술과 비교해 어떤가?
• RQ5 단일 이미지 작업에서, 방법이 노이즈와 텍스처를 효과적으로 스무딩하면서도 구조적 에지를 적절히 유지할 수 있는가?

주요 결과

• 제안된 RGIF 프레임워크는 데이터 기반 파rameter 최적화를 통해 8× 업샘플링에서 특히 미세한 구조와 날카운 에지를 잘 유지함으로써, 가이드 깊이 맵 업샘플링에서 뛰어난 성능을 발휘한다.
• 플래시/노플래시 이미지 필터링과 같은 응용 분야에서 RGIF는 그림자 검출이나 별도의 처리 단계에 의존하는 방법보다 훨씬 더 효과적으로 텍스처 복제 아티팩트를 감소시킨다.
• HDR 톤 맵핑 및 JPEG 압축 아티팩트 제거 작업에서 RGIF는 압축 아티팩트를 효과적으로 제거하면서도 날카운 에지를 유지하며, 기울기 L0 노름 최적화 및 JWMF와 같은 방법보다 뛰어난 성능을 보였다.
• 단일 이미지 에지 유지 스무딩 작업에서 RGIF는 환영 현상과 기울기 반전을 효과적으로 방지했으며, 노이즈가 많거나 텍스처가 풍부한 이미지에서 강력한 성능을 입증했다.
• 특히 무거운 노이즈 하에서 미세한 텍스처와 에지를 잘 유지하는 데 있어, 이전 최신 기술보다도 더 나은 결과를 도출했다.
• 제거 분석 결과, 별도의 노이즈 제거와 필터링 단계를 거치는 것보다 하나의 프레임워크에서 노이즈 제거와 필터링을 통합함으로써 더 나은 성능을 얻을 수 있음을 확인했다.