[논문 리뷰] Real-time Image Smoothing via Iterative Least Squares

Wei Liu, Pingping Zhang외 4명|arXiv (Cornell University)|2020. 03. 17.

Image Enhancement Techniques참고 문헌 42인용 수 6

한 줄 요약

이 논문은 실시간 에지 유지형 이미지 스무딩을 위한 새로운 글로벌 최적화 방법인 반복 최소 제곱법(Iterative Least Squares, ILS)을 제안한다. 점별 연산과 빠른 푸리에 변환(FFT)을 반복적으로 적용함으로써 ILS는 계산 효율성을 확보하면서도 최신 기술 수준의 스무딩 품질을 달성한다. GTX 1080 GPU에서 1080p 컬러 이미지를 20fps로 처리할 수 있으며, 눈에 띄는 아티팩트를 최소화하고 GPU 가속과 다양한 스무딩 작업에 대한 유연한 적응성을 지원한다.

ABSTRACT

Edge-preserving image smoothing is a fundamental procedure for many computer vision and graphic applications. There is a tradeoff between the smoothing quality and the processing speed: the high smoothing quality usually requires a high computational cost which leads to the low processing speed. In this paper, we propose a new global optimization based method, named iterative least squares (ILS), for efficient edge-preserving image smoothing. Our approach can produce high-quality results but at a much lower computational cost. Comprehensive experiments demonstrate that the propose method can produce results with little visible artifacts. Moreover, the computation of ILS can be highly parallel, which can be easily accelerated through either multi-thread computing or the GPU hardware. With the acceleration of a GTX 1080 GPU, it is able to process images of 1080p resolution ($1920 imes1080$) at the rate of 20fps for color images and 47fps for gray images. In addition, the ILS is flexible and can be modified to handle more applications that require different smoothing properties. Experimental results of several applications show the effectiveness and efficiency of the proposed method. The code is available at \url{https://github.com/wliusjtu/Real-time-Image-Smoothing-via-Iterative-Least-Squares}

연구 동기 및 목표

• 에지 유지형 이미지 스무딩에서 높은 스무딩 품질과 낮은 계산 비용 사이의 상충 관계를 해결하기 위해.
• 기존 최신 기술 수준의 스무딩 품질에 맞추거나 초월하면서도 처리 시간을 크게 단축하는 글로벌 최적화 기반의 방법을 개발하기 위해.
• 다중 스레딩 및 GPU 가속에 적합한 매우 병렬화 가능한 계산을 갖춘 방법을 설계하기 위해.
• HDR 톤 맵핑, 텍스처 스무딩, 압축 아티팩트 제거와 같은 다양한 응용 분야에서의 유연성을 입증하기 위해.
• L0 노름과 총변위 스무딩과 같은 기존 글로벌 최적화 방법들에 비해 계산 비용이 더 낮은 대안을 제공하기 위해.

제안 방법

• 이 방법은 덧셈형 반정규 최소화에서 유도되며, 스무딩 문제를 반복 최적화 프레임워크로 재구성한다.
• 각 반복 단계는 두 가지 주요 단계로 구성된다: 페널티 함수(예: Welsch 또는 Huber)를 사용한 점별 조작과, 주파수 도메인에서 선형 시스템을 푸는 데 사용되는 빠른 푸리에 변환(FFT) 및 역변환(IFFT)의 조합.
• 알고리즘은 공간 도메인에서 이미지 추정을 갱신하고 주파수 도메인에서 정규화된 최소 제곱 문제를 해결하는 방식으로 번갈아가며 수행된다.
• FFT/이상적 FFT의 사용은 글로벌 정규화 항을 효율적으로 계산할 수 있게 하여, 이 방법이 매우 병렬화 가능하게 만든다.
• 이 방법은 페널티 함수나 정규화 파라미터를 수정함으로써 다양한 스무딩 행동에 쉽게 적응할 수 있어 영리하다.
• 작은 수의 반복(예: 10–15회)을 반복하여 고품질의 스무딩된 이미지로 수렴한다.

실험 결과

연구 질문

• RQ1 글로벌 최적화 기반 방법이 높은 스무딩 품질과 실시간 성능를 동시에 달성할 수 있는가?
• RQ2 글로벌 최적화 방법의 계산 복잡도를 에지 유지 성능을 훼손하지 않고 감소시킬 수 있는가?
• RQ3 이 방법은 GPU나 다중 코어 환경에서 효율적으로 병렬화될 수 있는가?
• RQ4 L0 노름 스무딩과 이중 필터링과 같은 최신 기술 수준의 방법들과 비교했을 때, 제안된 ILS는 아티팩트 억제 능력과 속도 면에서 어떻게 다른가?
• RQ5 이 방법은 텍스처 스무딩이나 압축 아티팩트 제거와 같은 다양한 스무딩 특성이 요구되는 다른 응용 분야로 확장될 수 있는가?

주요 결과

• ILS는 GTX 1080 GPU에서 1080p 컬러 이미지에 대해 20fps, Grayscale 이미지에 대해 47fps의 성능을 달성하여 실시간 성능을 입증했다.
• ILS는 JPEG 압축 아티팩트 제거 작업에서 L0 노름 스무딩과 FCN 기반 방법들보다 아티팩트 억제 능력에서 뛰어나며, 눈에 띄는 아티팩트를 최소화한 결과를 생성한다.
• 텍스처 스무딩 작업에서는 상대적 총변위(RTV)보다 표면 조명을 더 잘 유지하며, 롤링 가이던스 필터와 이중 텍스처 필터링보다도 구조 유지 능력에서 뛰어나다.
• 텍스처 스무딩 작업에서 ILS는 이중 텍스처 필터링(BTF)보다 약 6배 빠르며, RTV보다는 10배 빠르고, FCN 기반 접근보다는 2배 빠르다.
• 압축 아티팩트 제거 작업에서는 L0 노름 스무딩보다 약 2배 빠르고, FCN 기반 접근보다는 약 3배 빠르며, 더 뛰어난 시각적 결과를 제공한다.
• PSNR와 SSIM을 사용한 정량적 평가에서, ILS는 다양한 JPEG 품질 수준에서 경쟁 방법들을 항상 초월하거나 동등하게 유지한다.