[논문 리뷰] Depth Reconstruction of Translucent Objects from a Single Time-of-Flight Camera using Deep Residual Networks

Seongjong Song, Hyunjung Shim|arXiv (Cornell University)|2018. 09. 28.

Advanced Optical Sensing Technologies참고 문헌 23인용 수 6

한 줄 요약

이 논문은 단일 시간 간격 카메라(ToF)에서 투명 물체의 3차원 깊이를 복원하기 위해 깊이 리스크 네트워크(ResNet) 기반의 접근법을 제안한다. 전경 및 배경 깊이 맵의 다중 척도 패치를 입력으로 사용하며, 물리 모델이나 통제된 환경 없이도 지역적 특징과 의미적 특징을 활용함으로써, 센서 노이즈 상황에서도 최신 기술 수준의 정확성과 강인성을 달성한다.

ABSTRACT

We propose a novel approach to recovering the translucent objects from a single time-of-flight (ToF) depth camera using deep residual networks. When recording the translucent objects using the ToF depth camera, their depth values are severely contaminated due to complex light interactions with the surrounding environment. While existing methods suggested new capture systems or developed the depth distortion models, their solutions were less practical because of strict assumptions or heavy computational complexity. In this paper, we adopt the deep residual networks for modeling the ToF depth distortion caused by translucency. To fully utilize both the local and semantic information of objects, multi-scale patches are used to predict the depth value. Based on the quantitative and qualitative evaluation on our benchmark database, we show the effectiveness and robustness of the proposed algorithm.

연구 동기 및 목표

• 상업용 ToF 카메라로 촬영한 투명 물체에서 심각한 깊이 왜곡이 지속되는 문제를 해결하기 위해.
• 통제된 환경이나 물리적 제약 없이도 실용적인 데이터 기반 솔루션을 개발하기 위해.
• 다중 척도 패치 처리를 통해 지역적 특징과 의미적 특징을 모두 활용함으로써 깊이 복원 정확도를 향상시키기 위해.
• 낮은 조도와 짧은 노출로 인해 흔히 발생하는 ToF 카메라의 센서 노이즈에 대비한 강인성 확보를 위해.
• 향후 투명 물체 복원 분야의 연구를 위한 학습 기반 기준선을 설정하기 위해.

제안 방법

• 해당 방법은 깊이 리스크 네트워크(ResNet) 아키텍처를 사용하여 원시 ToF 깊이 맵으로부터 깊이 보정을 학습한다.
• 전경 및 배경 깊이 맵의 다중 척도 패치를 처리하여 지역적 세부 정보와 전반적 맥락을 확보한다.
• 정규화 오류를 방지하고 노이즈가 많은 입력에서의 성능 향상을 위해 배치 정규화를 배제한다.
• 입력은 물체 표면의 깊이 맵과 배경의 깊이 맵 두 개로 구성되며, 더 나은 깊이 추정을 가능하게 한다.
• 다양한 조건에서 투명 물체의 대규모 벤치마크 데이터셋을 사용하여 엔드 투 엔드로 모델을 훈련시킨다.
• 해당 접근법은 순수하게 데이터 기반이며, 물리적 제약이나 물질 성질에 대한 사전 지식이 필요하지 않다.

실험 결과

연구 질문

• RQ1 물리 모델이나 통제된 환경 없이도 깊이 리스크 모델이 단일 ToF 카메라에서 투명 물체의 정확한 3차원 깊이를 효과적으로 복원할 수 있는가?
• RQ2 단일 척도 또는 전반적 처리 대비 다중 척도 패치 처리 방식이 깊이 복원 정확도에 어떻게 기여하는가?
• RQ3 제안된 방법이 ToF 카메라에서 흔히 발생하는 센서 노이즈에 얼마나 강인한가?
• RQ4 다양한 형태와 표면 곡률을 가진 물체, 비평면형 및 둥근 물체에도 일반화 가능한가?
• RQ5 배치 정규화를 배제함으로써 노이즈가 많은 실세계 ToF 데이터에서 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 벤치마크 데이터셋에서 가장 낮은 RMSE(70.4 mm)를 기록하여 모든 기준 모델을 능가하는 정량적 성능을 확보했다.
• 표준 편차 16 mm 이내의 모든 노이즈 수준에서 안정적인 성능 유지를 보였으며, 오차 증가 폭이 미미했다.
• 32 mm 노이즈 수준에서는 RMSE가 72.8 mm로 증가했고, 128 mm 수준에선 143.8 mm로 상승하여 극단적 노이즈 상황에서만 성능 저하가 발생함을 확인했다.
• 정성적 결과에서는 단일 척도 패치 네트워크가 곡면에서 리드지 패턴을 유발하는 것에 비해 더 매끄럽고 잡음이 적은 깊이 맵을 제공했다.
• 훈련 세트에 포함되지 않은 둥근 물체에 대해서도 모델이 잘 일반화되어 형태 변화에 대한 강인성을 입증했다.
• 제거 실험 결과 다중 척도 패치와 배치 정규화 배제가 성능 향상에 크게 기여하는 것으로 확인되었다.