[논문 리뷰] Sparse Norm Filtering

Chengxi Ye, Dacheng Tao외 3명|arXiv (Cornell University)|2013. 05. 17.

Image Enhancement Techniques참고 문헌 19인용 수 3

한 줄 요약

이 논문은 l^p 노름(p=0,1,2)을 사용하여 에지 보존 스무딩을 희소 최적화 문제로 공식화하는 새로운 효율적인 이미지 필터링 프레임워크인 희소 노름 필터(SNF)를 소개한다. SNF는 홀로 효과가 없는 결과를 도출하고, 양방향 필터링과 유사한 낮은 계산 비용을 가지며, 비국소적이고 희소 노름 기반의 가중치를 활용해 탈색, 노이즈 제거, 분할, 무결성 편집 등 고성능 응용을 가능하게 한다.

ABSTRACT

Optimization-based filtering smoothes an image by minimizing a fidelity function and simultaneously preserves edges by exploiting a sparse norm penalty over gradients. It has obtained promising performance in practical problems, such as detail manipulation, HDR compression and deblurring, and thus has received increasing attentions in fields of graphics, computer vision and image processing. This paper derives a new type of image filter called sparse norm filter (SNF) from optimization-based filtering. SNF has a very simple form, introduces a general class of filtering techniques, and explains several classic filters as special implementations of SNF, e.g. the averaging filter and the median filter. It has advantages of being halo free, easy to implement, and low time and memory costs (comparable to those of the bilateral filter). Thus, it is more generic than a smoothing operator and can better adapt to different tasks. We validate the proposed SNF by a wide variety of applications including edge-preserving smoothing, outlier tolerant filtering, detail manipulation, HDR compression, non-blind deconvolution, image segmentation, and colorization.

연구 동기 및 목표

• 기존 방법의 한계를 극복하고, 에지 보존 이미지 필터링을 위한 통합적이고 효율적인 프레임워크를 개발하기 위해.
• 양방향 필터링과 같은 가중 평균 필터에서 흔히 발생하는 홀로 효과를 해결하기 위해 희소 노름 페널티를 도입하기 위해.
• 양방향 필터링과 유사한 계산 효율성을 확보하면서도 더 넓은 범위의 필터링 작업을 지원하기 위해.
• 기존 필터(예: 평균, 중앙값 필터)를 일반적인 희소 노름 필터링 프레임워크의 특수 케이스로 통합하기 위해.
• SNF의 빠른 일회성 계산을 활용해 정규화 컷 및 포아송 편집과 같은 복잡한 시각 파이프라인을 가속화하기 위해.

제안 방법

• 이미지 필터링을 데이터 적합성과 기울기의 희소 노름 페널티를 조합한 비용 함수의 최소화 문제로 공식화하며, l^p 노름(p=0,1,2)을 정규화에 사용한다.
• 각 픽셀의 출력이 모든 이웃 픽셀로부터의 편차를 희소 노름 페널티로 가중한 값에 따라 최소화되도록 하는 비국소적 이웃 구조를 활용한다.
• 대부분의 응용에서 10회 이내에 수렴하는 경사 하강법을 사용해 최적화 문제를 효율적으로 해결한다.
• 상자 필터와 적분 이미지를 활용해 이웃 영역 합을 빠르게 계산하여, 이웃 영역 크기와 관계없이 일정한 시간 내에 필터링을 수행한다.
• 가이드 이미지를 사용해 가중치를 계산하는 방식으로 연합 필터링으로 확장하여, 플래시/노플래시 노이즈 제거 및 색상화 등 응용을 가능하게 한다.
• 포아송 방정식을 해결하기 위해 l^2 노름을 적용해 비국소 기울기 확산을 통해 무결성 편집을 수행하며, 느린 선형 시스템 해법을 대체한다.

실험 결과

연구 질문

• RQ1 희소 노름 최적화를 사용해 평균, 중앙값 필터링과 같은 고전적 필터를 일반화할 수 있는 통합된 필터링 프레임워크를 설계할 수 있는가?
• RQ2 희소 노름 필터링이 최적화 기반 필터 수준의 홀로 효과 없는 결과를 도출하면서도 가중 평균 필터링 수준의 효율성을 유지할 수 있는가?
• RQ3 SNF 프레임워크는 정규화 컷 및 포아송 기반 이미지 편집과 같이 계산 비용이 높은 작업을 얼마나 가속화할 수 있는가?
• RQ4 l^p 노름(p=0,1,2)을 사용해 노이즈 제거, 탈색, 분할과 같은 다양한 이미지 처리 작업을 얼마나 잘 모델링할 수 있는가?
• RQ5 플래시/노플래시 노이즈 제거, 색상화와 같은 연합 필터링 시나리오에서 SNF는 최소한의 계산 오버헤드로 효과적으로 적용될 수 있는가?

주요 결과

• SNF 프레임워크는 에지 보존 스무딩에서 홀로 효과가 없는 결과를 도출하며, 기존의 가중 평균 필터링 방식인 양방향 필터링보다 시각적 품질에서 뛰어나다.
• SNF는 양방향 필터링과 유사한 계산 효율성을 확보하며, C++ 기준으로 1메가픽셀당 0.01초, Matlab 기준으로 0.04초의 런타임을 기록한다.
• 이웃 영역 반경에 따라 정규화 컷을 10배에서 100배 가속화하며, 느린 행렬 곱셈을 빠른 SNF 기반 필터링으로 대체함으로써 가능해졌다.
• 플래시/노플래시 노이즈 제거에서 p=0.2, r=11 조건의 연합 SNF는 노이즈를 효과적으로 제거하면서도 세부 정보를 잘 보존하며, 그 결과는 그림 8에 제시되어 있다.
• 무결성 편집에서는 SNF 기반 포아송 솔버가 10회 이내에 수렴하며, 원본 포아송 방법과 시각적으로 구분되지 않는 결과를 도출하지만, 3배 빠른 속도를 기록한다.
• 색상화에서는 p=0.1, 이미지 높이의 1/4인 r 조건에서 SNF 기반 방법이 10회 이내에 고성능 결과를 도출하며, 이는 이전 연구를 충족하거나 초월한다 (그림 10).