[논문 리뷰] Data Driven Robust Image Guided Depth Map Restoration

Wei Liu, Yun Gu외 4명|arXiv (Cornell University)|2015. 12. 26.

Advanced Vision and Imaging참고 문헌 7인용 수 4

한 줄 요약

이 논문은 깊이-색상 경계의 일관성 문제와 노이즈를 다루기 위해 데이터 기반의 강건한 최적화 프레임워크를 제안한다. 데이터 항목과 스무딩 항목 양쪽에 새로운 강건한 지수 오차 노름을 사용하여 고품질의 이미지 가이드드 깊이 맵 복원을 수행한다. 이는 IRLS 솔버와 데이터 기반의 적응형 파rameter 선택 기법을 활용하여, 특히 높은 업샘플링 인자(예: 8×)에서 날카운 깊이 불연속성의 유지와 텍스처 복제 아티팩트 억제에 뛰어난 성능을 발휘한다.

ABSTRACT

Depth maps captured by modern depth cameras such as Kinect and Time-of-Flight (ToF) are usually contaminated by missing data, noises and suffer from being of low resolution. In this paper, we present a robust method for high-quality restoration of a degraded depth map with the guidance of the corresponding color image. We solve the problem in an energy optimization framework that consists of a novel robust data term and smoothness term. To accommodate not only the noise but also the inconsistency between depth discontinuities and the color edges, we model both the data term and smoothness term with a robust exponential error norm function. We propose to use Iteratively Re-weighted Least Squares (IRLS) methods for efficiently solving the resulting highly non-convex optimization problem. More importantly, we further develop a data-driven adaptive parameter selection scheme to properly determine the parameter in the model. We show that the proposed approach can preserve fine details and sharp depth discontinuities even for a large upsampling factor ($8 imes$ for example). Experimental results on both simulated and real datasets demonstrate that the proposed method outperforms recent state-of-the-art methods in coping with the heavy noise, preserving sharp depth discontinuities and suppressing the texture copy artifacts.

연구 동기 및 목표

• 중요한 노이즈와 깊이 불연속성의 흐림 문제를 해결하기 위해 기존의 이미지 가이드드 깊이 복원 방법의 한계를 해결한다.
• 깊이 불연속성과 색상 에지 간의 일관성 문제로 인해 발생하는 텍스처 복제 아티팩트 문제를 해결한다.
• 큰 업샘플링 인자(예: 8×)에서도 고품질의 깊이 복원을 유지할 수 있는 강건한 최적화 프레임워크를 개발한다.
• 수동적인 파rameter 선택을 제거하기 위해 일반화 능력과 세부 구조 유지 능력을 향상시키기 위해 데이터 기반의 적응형 대역폭 선택 기법을 도입한다.

제안 방법

• 가우시안 윈도우 내의 '픽셀에서 패치' 차이를 기반으로 한 강건한 데이터 항목을 사용하여 깊이 복원 문제를 에너지 최소화 문제로 공식화하며, 이는 강건한 지수 오차 노름으로 벌점된다.
• 깊이 에지와 색상 에지 간의 일관성 문제에 적응하는 강건한 스무딩 항목을 도입하여 텍스처 복제 아티팩트를 감소시킨다.
• 반복적으로 선형 시스템을 푸는 방식으로 매우 비볼록 최적화 문제를 효율적으로 해결하기 위해 반복 재가중 최소 제곱법(IRLS) 알고리즘을 사용한다.
• 지역 이미지 통계에 기반하여 정규화 파rameter λ를 동적으로 결정하는 데이터 기반의 적응형 파arameter 선택 기법을 구현하여 세부 구조와 불연속성 유지 능력을 향상시킨다.
• 공간 일관성을 유지하면서 깊이 전용 구조를 보존하기 위해 정렬된 색상 이미지를 가이드로 활용한다.
• 정규화 및 표준 RMSE 평가를 수행하기 위해 시뮬레이션된 데이터셋과 실제 데이터셋(ToF 및 Kinect 깊이 맵 포함)에 최적화 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 깊이 맵의 무거운 노이즈를 효과적으로 다루면서 미세한 세부 구조를 유지할 수 있는 강건한 데이터 항목은 어떻게 설계할 수 있는가?
• RQ2 깊이 불연속성이 색상 에지와 일치하지 않을 경우, 강건한 스무딩 항목이 텍스처 복제 아티팩트를 어느 정도 감소시킬 수 있는가?
• RQ3 IRLS 기반의 수치적 솔버는 깊이 맵 복원 문제의 매우 비볼록 최적화 문제를 효율적이고 안정적으로 해결할 수 있는가?
• RQ4 고정 또는 수동 파arameter 선택 대비, 데이터 기반의 적응형 파arameter 선택 기법이 다양한 업샘플링 인자에서 성능을 어떻게 향상시키는가?
• RQ5 제안된 방법은 정량적 평가 지표(예: RMSE)와 함께 날카운 깊이 불연속성의 정성적 유지 능력에서 최첨단 기법을 초월하는가?

주요 결과

• 제안된 방법은 시뮬레이션된 ToF 데이터(0.75)와 실제 ToF 데이터셋(평균 12.33mm)에서 모든 비교 방법보다 낮은 RMSE를 기록하여 최고의 성능을 보였다.
• NYU Kinect 데이터셋에서, 방법은 가장 낮은 평균 RMSE(0.75)를 기록했으며, NLM-MRF(1.27)와 AR 모델(1.02)을 크게 앞서는 성능을 보였다.
• 시각적 결과에서는 특히 8× 및 16× 업샘플링 인자에서 날카운 깊이 불연속성의 뛰어난 유지와 최소한의 흐림이 확인되었다.
• 이 방법은 텍스처 복제 아티팩트를 효과적으로 억제한다 — 그림 8의 '공' 영역에서 다른 방법들이 잘못된 방식으로 색상 텍스처를 깊이 에지로 전달하는 것을 방지한다.
• 데이터 기반의 적응형 대역폭 선택은 다양한 업샘플링 인자에서 일관된 성능을 제공하며, 특히 8× 및 16×에서 뚜렷한 향상이 있었다.
• IRLS 솔버는 안정적이고 효율적으로 수렴하여 맞춤형 구현 없이도 표준 선형 솔버를 사용할 수 있어 실용성 향상에 기여한다.