[논문 리뷰] Robust Piecewise-Constant Smoothing: M-Smoother Revisited

Linchao Bao, Qingxiong Yang|arXiv (Cornell University)|2014. 10. 28.

Advanced Vision and Imaging참고 문헌 13인용 수 5

한 줄 요약

이 논문은 가중 평균 필터링 연산(예: 박스, 가우시안, 양면, 가이드 필터)의 시퀀스로 재구성한 후 웨이터-테이크-all 단계를 거쳐, 강력한 조각별로 일정한 스무딩을 위한 M-smoother를 재검토한다. 이 프레임워크는 히스토그램 기반 필터를 효율적으로 근사하고, 에지 유지 필터를 향상시켜 GPU에서 실시간 성능을 달성하면서 깊이 맵과 디스패리티 맵에서 뛰어난 노이즈 제거 성능을 제공한다.

ABSTRACT

A robust estimator, namely M-smoother, for piecewise-constant smoothing is revisited in this paper. Starting from its generalized formulation, we propose a numerical scheme/framework for solving it via a series of weighted-average filtering (e.g., box filtering, Gaussian filtering, bilateral filtering, and guided filtering). Because of the equivalence between M-smoother and local-histogram-based filters (such as median filter and mode filter), the proposed framework enables fast approximation of histogram filters via a number of box filtering or Gaussian filtering. In addition, high-quality piecewise-constant smoothing can be achieved via a number of bilateral filtering or guided filtering integrated in the proposed framework. Experiments on depth map denoising show the effectiveness of our framework.

연구 동기 및 목표

• 가중 평균 필터링을 통해 M-smoother를 재해석함으로써 조각별 일정한 스무딩을 위한 효율적인 프레임워크를 개발한다.
• 박스 및 가우시안 필터링과 같은 표준 필터링 연산을 통해 국소 히스토그램 기반 필터(예: 중앙값, 최빈값)의 빠른 근사화를 가능하게 한다.
• 기존의 에지 유지 필터(양면, 가이드 필터)를 강력한 손실 함수와 통합하여 고품질의 조각별 일정한 스무딩을 향상시킨다.
• 깊이 맵 노이즈 제거와 디스패리티 맵 보정과 같은 실용적 응용 분야에서 GPU에서 실시간 성능을 달성한다.

제안 방법

• 조각별 일정한 출력을 달성하기 위해 M-smooter를 가중 평균 필터링 연산의 시퀀스로 재구성하고, 웨이터-테이크-all 선택 단계를 적용한다.
• 강력한 손실 함수(예: 잘린 L1 노름)를 사용한 M-smoother의 일반화된 제시를 통해 필터링 연산을 이끌어낸다.
• 박스, 가우시안, 양면, 가이드 필터와 같은 빠른 필터링 알고리즘을 활용하여 계산 효율성과 병렬 처리 가능성의 이점을 극대화한다.
• 데이터 의존 비용 함수에 대해 포물선 피팅 근사를 적용하여 최적화를 완전히 수행하지 않고도 최소값을 효율적으로 탐색한다.
• 청결한 RGB 이미지를 가이드로 사용하는 공동 필터링을 적용하여 깊이 맵 노이즈 제거 및 디스패리티 맵 보정을 향상시킨다.
• CUDA를 사용하여 GPU에 프레임워크를 구현하여 실시간 성능을 달성하였으며, 가이드 필터링의 경우 약 30 ms/MP를 기록한다.

실험 결과

연구 질문

• RQ1 박스 및 가우시안 필터와 같은 표준 가중 평균 필터를 사용하여 M-smoother를 효율적으로 근사할 수 있는가?
• RQ2 강력한 손실 함수를 통합함으로써 양면 및 가이드 필터와 같은 에지 유지 필터가 조각별 일정한 스무딩에 얼마나 향상될 수 있는가?
• RQ3 실제로 제안된 프레임워크가 국소 히스토그램 기반 필터(예: 중앙값, 최빈값)를 얼마나 잘 근사할 수 있는가?
• RQ4 현대 GPU에서 깊이 맵 및 디스패리티 맵 처리에 대해 이 프레임워크가 실시간 성능을 달성할 수 있는가?

주요 결과

• 제안된 프레임워크는 박스 또는 가우시안 필터링 연산 몇 번만으로도 히스토그램 기반 필터를 효과적으로 근사하여 고품질의 조각별 일정한 스무딩을 달성한다.
• 강력한 손실 함수(예: 잘린 L1 노름)를 양면 및 가이드 필터와 통합함으로써 깊이 맵 노이즈 제거에서 스무딩 품질과 에지 유지 능력이 크게 향상된다.
• 프레임워크는 GPU에서 실시간 성능을 달성하며, 향상된 가이드 필터링은 약 30 ms/MP의 속도로 실행된다.
• Middlebury 벤치마크에서의 시각적 및 정량적 결과는 제안된 방법이 표준 공동 필터링보다 더 깔끔하고 선명한 디스패리티 맵을 생성함을 보여준다.
• Microsoft Kinect에서 발생하는 유효하지 않은 영역(검은 구멍)을 성공적으로 복원하여 실제 노이즈에 대한 강건성을 입증한다.