[논문 리뷰] Deep Depth Completion of a Single RGB-D Image

Yinda Zhang, Thomas Funkhouser|arXiv (Cornell University)|2018. 03. 25.

Advanced Vision and Imaging참고 문헌 64인용 수 21

한 줄 요약

이 논문은 RGB 입력에서 표면 법선과 막힘 경계를 먼저 예측한 후, 깊이 제약 조건을 갖는 전역 최적화를 통해 완전한 깊이를 복원하는 이단계적 딥러닝 방법을 제안한다. 이 방법은 새로운 벤치마크에서 최신 기술 수준 성능(SOTA, Rel: 0.089)을 달성하여 기존의 전통적 인painting 및 엔드 투 엔드 깊이 추정 방법들을 크게 앞서며, 특히 반사성, 투명성 또는 먼 거리에 있는 표면으로 인해 깊이가 손실되는 상용 RGB-D 카메라의 문제를 해결한다.

ABSTRACT

The goal of our work is to complete the depth channel of an RGB-D image. Commodity-grade depth cameras often fail to sense depth for shiny, bright, transparent, and distant surfaces. To address this problem, we train a deep network that takes an RGB image as input and predicts dense surface normals and occlusion boundaries. Those predictions are then combined with raw depth observations provided by the RGB-D camera to solve for depths for all pixels, including those missing in the original observation. This method was chosen over others (e.g., inpainting depths directly) as the result of extensive experiments with a new depth completion benchmark dataset, where holes are filled in training data through the rendering of surface reconstructions created from multiview RGB-D scans. Experiments with different network inputs, depth representations, loss functions, optimization methods, inpainting methods, and deep depth estimation networks show that our proposed approach provides better depth completions than these alternatives.

연구 동기 및 목표

• 반사성, 투명성 또는 먼 거리에 있는 표면으로 인해 상용 RGB-D 카메라에서 깊이가 손실되는 문제를 해결하기 위해.
• 실제 깊이 관측치가 아닌 합성 데이터에서 학습함으로써 다양한 깊이 센서에 일반화 가능한 방법을 개발하기 위해.
• 직접 깊이 회귀 대신 局부 기하학적 사전 지식(법선, 경계)을 활용함으로써 깊이 보완 정확도를 향상시키기 위해.
• 105,432장의 RGB-D 이미지와 지상 진실 깊이 보완 데이터를 포함하는 새로운 벤치마크 데이터셋을 구축하여 학습 및 평가를 위해 제공하기 위해.
• 색상에서 표면 법선을 예측하는 것이 직접 회귀나 전통적 인painting보다 더 나은 깊이 보완 성능을 제공할 수 있음을 입증하기 위해.

제안 방법

• RGB 입력 이미지에서만 표면 법선과 막힘 경계를 예측하는 딥 컨volution 네트워크를 훈련한다.
• RGB-D 센서에서 관측된 깊이 값으로 정규화된 전역 선형 최적화를 사용하여 완전한 깊이 맵을 복원한다.
• 이중 단계 프레임워크를 적용한다: (1) 색상에서 국소 예측, (2) 깊이 제약 조건이 있는 전역 최적화.
• 72개의 실제 환경에서 다중 시점 RGB-D 스캔의 렌더링을 통해 대규모 벤치마크 데이터셋을 구축한다.
• 관측된 깊이 값을 유지하면서 누락 영역을 보완하기 위해 최적화 과정에서 부드러운 제약 조건을 적용한다.
• 가능한 엔드 투 엔드 훈련을 위해 가역 최적화 레이어를 사용하여 법선 예측 네트워크를 훈련한다.

실험 결과

연구 질문

• RQ1 RGB에서 표면 법선을 예측하는 것이 직접 깊이 회귀보다 깊이 보완 성능을 향상시키는가?
• RQ2 법선 예측 후 깊이 최적화를 수행하는 이단계적 접근이 엔드 투 엔드 깊이 인painting보다 더 나은 성능을 내는가?
• RQ3 표면 복원에서 유도된 합성 데이터에서 학습한 네트워크가 실제 RGB-D 깊이 보완에 일반화 가능한가?
• RQ4 수작업 조정된 인painting과 최신 기술 수준의 딥 뎁스 추정 네트워크에 비해 제안된 방법은 어떻게 비교되는가?
• RQ5 손실 함수, 네트워크 아키텍처 및 최적화 전략의 차이가 깊이 보완 정확도에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 벤치마크 데이터셋에서 상대 오차(Rel) 0.089를 달성하여 기준 인painting 방법(최고 기준: Rel 0.103)보다 유의미하게 뛰어난 성능을 보였다.
• RMSE를 0.116로 줄였으며, 이는 다음으로 우수한 방법(TGV)의 0.146보다 우수한 정확도를 보여주었다.
• 지상 진실값의 1.25 배 이내의 예측 비율이 76.74%였고, 최고 기준 방법의 81.71%보다 다소 낮지만, 큰 오차에 대한 강건한 성능을 보였다.
• 딥 뎁스 추정 방법과 비교했을 때, 관측되지 않은 픽셀에서 상대 오차를 23~40% 향상시켜 강력한 일반화 능력을 입증했다.
• qualitative 비교(그림 8)에서 공동 양방향 필터링보다 더 선명하고 정확한 결과를 생성했다.
• 법선 예측 능력이 다양한 깊이 센서에 일반화되며, 새로운 센서에 대해 재학습이 필요하지 않다는 점을 입증했다.