[논문 리뷰] Learning Guided Convolutional Network for Depth Completion

Jie Tang, Fei-Peng Tian외 3명|arXiv (Cornell University)|2019. 08. 03.

Advanced Vision and Imaging참고 문헌 36인용 수 26

한 줄 요약

이 논문은 희소 LiDAR와 RGB 데이터 간의 다중 모odal 융합을 향상시키기 위해 RGB 가이던스 이미지에서 공간적으로 변형 가능한 컨볼루션 커널을 동적으로 생성하는 러닝 가이드 컨볼루션 네트워크(LGCN)를 제안한다. 학습된 가이드 컨볼루션 모듈과 분해 전략을 활용하여 메모리와 계산량을 줄였으며, NYUv2 및 KITTI 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하였고, 다양한 조건과 데이터셋 간에 뛰어난 일반화 성능을 보였다.

ABSTRACT

Dense depth perception is critical for autonomous driving and other robotics applications. However, modern LiDAR sensors only provide sparse depth measurement. It is thus necessary to complete the sparse LiDAR data, where a synchronized guidance RGB image is often used to facilitate this completion. Many neural networks have been designed for this task. However, they often na\"ıvely fuse the LiDAR data and RGB image information by performing feature concatenation or element-wise addition. Inspired by the guided image filtering, we design a novel guided network to predict kernel weights from the guidance image. These predicted kernels are then applied to extract the depth image features. In this way, our network generates content-dependent and spatially-variant kernels for multi-modal feature fusion. Dynamically generated spatially-variant kernels could lead to prohibitive GPU memory consumption and computation overhead. We further design a convolution factorization to reduce computation and memory consumption. The GPU memory reduction makes it possible for feature fusion to work in multi-stage scheme. We conduct comprehensive experiments to verify our method on real-world outdoor, indoor and synthetic datasets. Our method produces strong results. It outperforms state-of-the-art methods on the NYUv2 dataset and ranks 1st on the KITTI depth completion benchmark at the time of submission. It also presents strong generalization capability under different 3D point densities, various lighting and weather conditions as well as cross-dataset evaluations. The code will be released for reproduction.

연구 동기 및 목표

• 로봇 및 자율주행 차량에서 희소 LiDAR 깊이 데이터의 과제를 해결하기 위해 동기화된 RGB 이미지를 가이던스로 사용하여 밀도 높은 깊이 맵을 보완하는 것.
• 기존 딥 러닝 방법에서의 단순한 특징 융합(예: 연결 또는 덧셈)의 한계를 극복하는 것.
• 가이드드 이미지 필터링에 영감을 얻은 학습 가능한, 콘텐츠에 의존하는 공간적으로 변형 가능한 컨볼루션 커널 생성 메커니즘을 설계하는 것.
• 공간적으로 변형 가능한 컨볼루션의 높은 GPU 메모리 및 계산 비용을 새로운 컨볼루션 분해 기법을 통해 감소시키는 것.
• 특징 개선을 위해 인코더-디코더 아키텍처에서 다단계 특징 융합을 가능하게 하는 것.

제안 방법

• RGB 가이던스 이미지에서 공간적으로 변형 가능한 컨볼루션 커널 가중치를 예측하는 새로운 가이드 네트워크(GuideNet)를 학습한다.
• 예측된 이 커널들은 가이드드 컨볼루션 모듈을 통해 희소 LiDAR 입력에서 깊이 특징을 추출하는 데 적용되며, 콘텐츠 인식형 및 공간적으로 적응형 특징 융합을 가능하게 한다.
• 공간적으로 변형 가능한 커널을 깊이-wise 및 포인트-wise 성분으로 분해하는 컨볼루션 분해 기법을 도입하여 GPU 메모리와 계산량을 크게 감소시킨다.
• 전반적인 아키텍처는 GuideNet과 함께 잔차 블록과 스킵 연결을 사용한 인코더-디코더 네트워크(DeepNet)를 조합한다.
• 다중 스케일 감시와 RMSE 및 상대 오차를 포함한 손실 함수를 사용하여 엔드 투 엔드로 네트워크를 학습시킨다.
• 분해를 통해 효율적인 공간적으로 변형 가능한 컨볼루션 적용이 가능해져 다단계 융합을 지원한다.

실험 결과

연구 질문

• RQ1 학습 가능한, 콘텐츠에 의존하는 커널 생성 메커니즘이 표준 특징 융합을 넘어서 깊이 보완 성능을 향상시킬 수 있는가?
• RQ2 공간적으로 변형 가능한 컨볼루션을 실시간 깊이 보완에 적용하기 위해 계산적으로 실현 가능한가?
• RQ3 제안된 가이드드 컨볼루션 모듈은 다양한 포인트 밀도, 조명, 날씨 및 센서 구성 조건에서도 일반화 가능한가?
• RQ4 이 방법은 실내(NYUv2) 및 실외(KITTI) 벤치마크에서 모두 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 다른 데이터셋 간 일반화 성능에서 기존 방법과 비교해 볼 때 어떻게 성능을 내는가?

주요 결과

• 제출 당시 KITTI 깊이 보완 벤치마크에서 RMSE 0.060을 기록하여 최신 기술 수준 방법 중 1위를 차지하였다.
• NYUv2 데이터셋에서 RMSE 0.060을 달성하여 이전 최신 기술 수준 방법들을 능가하였다.
• 안개, 비, 일몰, 아침 등 다양한 조건에서도 안정된 성능을 유지하였으며, 모든 조건에서 RMSE 변동 폭이 0.02 이내로 매우 작았다.
• SUN RGBD 데이터셋에서 NYUv2로 학습한 경우, 500개 샘플 기준 RMSE 0.096, 200개 샘플 기준 RMSE 0.139를 기록하였으며, Kinect V1 및 Xtion 데이터 모두에서 Ma 등 [54] 및 NConv-CNN [33]을 능가하였다.
• 다양한 데이터셋 간 일반화 성능이 뛰어나, 다른 센서를 사용하더라도 SUN RGBD에서의 성능이 NYUv2와 유사하게 유지되었다.
• 제거 실험을 통해 가이드드 컨볼루션 및 분해 구성 요소가 성능과 효율성에 필수적임을 확인하였으며, 제거된 변종에서는 성능이 크게 떨어졌다.