[논문 리뷰] An Approach for Noise Removal on Depth Images

Rashi Chaudhary, Himanshu Dasgupta|arXiv (Cornell University)|2016. 02. 16.

Advanced Vision and Imaging참고 문헌 11인용 수 6

한 줄 요약

이 논문은 구조적 세부 정보를 유지하면서 노이즈를 제거하기 위해 에지 검출, 조인트 이중 필터링, 예시 기반 보정을 조합한 세 단계의 깊이 이미지 노이즈 제거 방법을 제안한다. 이 방법은 높은 PSNR 향상(최대 6.234 dB)과 실시간 성능(752×520 이미지당 32 ms)을 달성하여 3D 재구성 및 새로운 시점 렌더링을 위한 깊이 맵 품질을 크게 향상시킨다.

ABSTRACT

Image based rendering is a fundamental problem in computer vision and graphics. Modern techniques often rely on depth image for the 3D construction. However for most of the existing depth cameras, the large and unpredictable noises can be problematic, which can cause noticeable artifacts in the rendered results. In this paper, we proposed an efficacious method for depth image noise removal that can be applied for most RGBD systems. The proposed solution will benefit many subsequent vision problems such as 3D reconstruction, novel view rendering, object recognition. Our experimental results demonstrate the efficacy and accuracy.

연구 동기 및 목표

• RGB-D 센서에서 유도된 깊이 이미지의 노이즈 문제를 다루어 3D 재구성 및 렌더링 품질을 떨어뜨리는 것을 방지한다.
• 복잡한 환경에서 약한 에지를 뿌연 전통적 필터링 기법(예: 이중 필터링)의 한계를 극복한다.
• 노이즈를 효과적으로 제거하면서도 구조적 정밀도를 유지하여 후속 비전 작업의 성능을 향상시키는 방법을 개발한다.
• 히스토그램 기반 클러스터링과 영역별 보정을 통해 계산 비용을 최적화하여 실시간 적용 가능성을 확보한다.
• 에지로 정의된 영역 내에서 패치 기반 보정을 활용하여 깊이 맵 복원 정확도를 향상시킨다.

제안 방법

• 주목할 만한 에지를 식별하고 이미지를 구조적 영역으로 분할하기 위해 Canny 에지 검출을 적용한다.
• 에지 맵을 가이드로 하여 동일한 영역은 부드럽게 하고 에지를 유지하는 조인트 이중 필터링을 사용한다.
• 등고선 기반 샘플링을 사용한 예시 기반 보정 전략을 구현하여 노이즈가 있거나 누락된 영역을 메운다.
• 패치 메우기 우선도를 복합 지표 P(p) = C(p) × D(p)를 통해 정의한다. 여기서 C(p)는 신뢰도이고 D(p)는 데이터 항목이다.
• 에지 맵에 의해 정의된 동일한 구조적 영역 내에서만 패치 검색을 제한하여 기하학적 일관성을 유지한다.
• 에지 검출 이전에 히스토그램 기반 클러스터링을 적용하여 왜곡을 줄이고 처리 효율을 향상시킨다.

실험 결과

연구 질문

• RQ1 노이즈 제거 동안 복잡하고 약한 에지를 유지하면서 깊이 이미지 노이즈 제거를 어떻게 향상시킬 수 있는가?
• RQ2 필터링과 보정을 조합한 하이브리드 접근 방식이 전통적 필터링 기법보다 더 높은 정확도를 달성할 수 있는가?
• RQ3 패치 크기가 PSNR와 시각적 품질 측면에서 노이즈 제거 성능에 어떤 영향을 미치는가?
• RQ4 노이즈 제거 정확도를 희생시키지 않고 보정의 계산 비용을 어떻게 줄일 수 있는가?
• RQ5 검출된 에지에 의해 가이드되는 영역별 보정이 깊이 맵의 정밀도에 얼마나 기여하는가?

주요 결과

• 20×20 패치 크기를 사용할 경우 'Ballet' 시퀀스에서 최대 PSNR 6.234 dB를 달성하여 높은 노이즈 제거 정확도를 입증한다.
• 752×520 이미지 기준 평균 처리 시간은 32 ms로, 표준 하드웨어에서도 실시간 적용 가능성을 입증한다.
• 다양한 테스트 샘플과 패치 크기에서 안정적인 성능을 보이며 일관된 PSNR 향상을 보인다.
• 영역 제약이 있는 패치 검색을 통해 기하학적 일관성을 유지함으로써 재구성 품질을 크게 향상시킨다.
• 에지 검출, 조인트 필터링, 예시 기반 보정의 조합이 미세한 세부 정보를 더 잘 유지하는 것으로 나타났다.
• 히스토그램 기반 사전 처리가 에지 검출의 왜곡을 줄여 더 정확한 영역 분할과 향상된 보정 결과를 기여한다.