[논문 리뷰] Robust High Quality Image Guided Depth Upsampling

Wei Liu, Yijun Li외 4명|arXiv (Cornell University)|2015. 06. 17.

Advanced Vision and Imaging참고 문헌 13인용 수 6

한 줄 요약

이 논문은 패치 기반 데이터 항목과 지수 오차 노름, 그리고 유연한 부드러움 항목을 도입하여 문턱 복사 아티팩트와 깊이 불연속성의 흐림을 해결하는 강건한 최적화 프레임워크를 제안한다. 이 방법은 8× 및 16×와 같은 큰 업샘플링 인자에서 뛰어난 성능을 발휘하며, 합성 및 실존하는 ToF 깊이 데이터에서 시각적 품질과 정량적 지표 모두에서 최신 기술을 능가한다. 적응형 대역폭 선택은 노이즈에 대한 강건성을 향상시킨다.

ABSTRACT

Time-of-Flight (ToF) depth sensing camera is able to obtain depth maps at a high frame rate. However, its low resolution and sensitivity to the noise are always a concern. A popular solution is upsampling the obtained noisy low resolution depth map with the guidance of the companion high resolution color image. However, due to the constrains in the existing upsampling models, the high resolution depth map obtained in such way may suffer from either texture copy artifacts or blur of depth discontinuity. In this paper, a novel optimization framework is proposed with the brand new data term and smoothness term. The comprehensive experiments using both synthetic data and real data show that the proposed method well tackles the problem of texture copy artifacts and blur of depth discontinuity. It also demonstrates sufficient robustness to the noise. Moreover, a data driven scheme is proposed to adaptively estimate the parameter in the upsampling optimization framework. The encouraging performance is maintained even in the case of large upsampling e.g. $8 imes$ and $16 imes$.

연구 동기 및 목표

• 색상 이미지에 무늬가 있는 매끄러운 깊이 영역에서 이미지 가이드드 깊이 업샘플링 시 발생하는 무늬 복사 아티팩트를 해결하기 위해.
• 가이드 색상 이미지의 색상 에지와 깊이 에지가 일치하지 않을 경우 깊이 불연속성이 흐려지는 문제를 해결하기 위해.
• 특히 높은 업샘플링 인자에서 발생하는 저해상도 깊이 맵의 노이즈에 대한 강건성을 향상시키기 위해.
• 다양한 시나리오 조건에서 성능을 향상시키는 데 기여하는 적응형 매개변수 추정 기법을 개발하기 위해.
• 정적 시나리오나 외부 데이터베이스를 요구하지 않고 고품질의 깊이 업샘플링을 달성하기 위해.

제안 방법

• 픽셀-패치 간 차이를 기반으로 한 새로운 데이터 항목을 도입하여 노이즈에 대한 강건성을 향상시킨다.
• 기존의 L2 노름 대신 지수 오차 노름 함수를 데이터 항목에 적용하여 노이즈에 대한 내성을 높인다.
• 색상 이미지와 저해상도 깊이 맵 양쪽에서 깊이 불연속성 신호를 활용하는 새로운 부드러움 항목을 제안하여 색상 에지와 깊이 에지 간의 엄격한 동시 발생 조건을 완화한다.
• 로컬 이미지 콘텐츠에 기반해 지수 오차 노름의 스케일 매개변수를 자동으로 조정하는 데이터 기반의 적응형 대역폭 선택 기법을 통합한다.
• 새로운 데이터 항목과 부드러움 항목을 조합한 최적화 프레임워크를 사용하여 고해상도 깊이 맵을 공동으로 추정한다.
• 합성 및 실존하는 ToF 깊이 데이터에 이 프레임워크를 적용하며, 8× 및 16×와 같은 큰 업샘플링 인자를 포함한다.

실험 결과

연구 질문

• RQ1 패치 기반 데이터 항목과 지수 오차 노름을 사용하면 저해상도 깊이 맵의 노이즈 민감도가 업샘플링 과정에서 감소하는가?
• RQ2 색상 에지와 깊이 불연속성 간의 엄격한 정렬 조건을 완화하면 동질적인 영역에서 깊이 경계가 잘 보존되는가?
• RQ3 색상 이미지와 깊이 맵 양쪽에서 신호를 활용하는 통합된 데이터 및 부드러움 항목이 무늬 복사 아티팩트를 줄이는가?
• RQ4 제안된 적응형 대역폭 선택 기법은 다양한 노이즈 수준과 업샘플링 인수에서 성능을 유지하는 데 얼마나 효과적인가?
• RQ5 8× 및 16×와 같은 극한의 업샘플링 인수에서도 이 방법이 높은 정확도와 시각적 품질을 유지하는가?

주요 결과

• Middlebury 데이터셋에서 아트 시퀀스에 대해 RMSE 0.78을 기록하여 [2]에서 제시한 최신 기술( RMSE: 1.69)을 크게 앞서나갔다.
• 실존하는 ToF 데이터에서 북스 시퀀스에 대해 RMSE 12.58mm를 기록하여 모든 베이스라인을 앞서며, 다음으로 우수한 성능을 보인 AR 방법(13.28mm)을 능가했다.
• 16× 업샘플링에서도 높은 시각적 품질을 유지하여 다른 방법이 실패한 곳에서도 세부 정보와 날카로운 깊이 불연속성을 잘 보존했다.
• 적응형 대역폭 선택 기법이 특히 미세 무늬와 깊이 에지가 존재하는 영역에서 성능 향상에 기여했으며, 대역폭 지도와 시각적 비교를 통해 이를 확인할 수 있었다.
• 이 방법은 노이즈에 강건했으며, 색상 에지가 없는 경우에도 노이즈 영역은 효과적으로 스무딩하면서 깊이 불연속성을 잘 유지했다.
• 모든 테스트 시퀀스, 합성 및 실존 데이터를 포함해 큰 업샘플링 인수에서 최고의 정량적 및 정성적 성능을 달성했다.