[논문 리뷰] Learning Depth-Guided Convolutions for Monocular 3D Object Detection

Mingyu Ding, Yuqi Huo외 5명|arXiv (Cornell University)|2019. 12. 10.

Advanced Neural Network Applications인용 수 30

한 줄 요약

이 논문은 단안 깊이 맵에서 샘플별로 고유하고 위치 기반의 깊이 지도 기반 동적, 확장된 국소 컨볼루션 필터를 학습하는 새로운 딥스케일 가중치 동적 깊이 컨volution 네트워크인 D⁴LCN을 제안한다. 표준 2D 컨볼루션을 깊이 지도 기반 동적 및 확장된 커널로 대체함으로써, 가짜 LiDAR에 의존하지 않고도 3D 객체 검출 정확도를 향상시켰으며, KITTI에서 SOTA 대비 9.1% 상대적 향상률을 기록했고, 제출 시점 기준 단안 3D 검출 벤치마크에서 1위를 기록했다.

ABSTRACT

3D object detection from a single image without LiDAR is a challenging task due to the lack of accurate depth information. Conventional 2D convolutions are unsuitable for this task because they fail to capture local object and its scale information, which are vital for 3D object detection. To better represent 3D structure, prior arts typically transform depth maps estimated from 2D images into a pseudo-LiDAR representation, and then apply existing 3D point-cloud based object detectors. However, their results depend heavily on the accuracy of the estimated depth maps, resulting in suboptimal performance. In this work, instead of using pseudo-LiDAR representation, we improve the fundamental 2D fully convolutions by proposing a new local convolutional network (LCN), termed Depth-guided Dynamic-Depthwise-Dilated LCN (D$^4$LCN), where the filters and their receptive fields can be automatically learned from image-based depth maps, making different pixels of different images have different filters. D$^4$LCN overcomes the limitation of conventional 2D convolutions and narrows the gap between image representation and 3D point cloud representation. Extensive experiments show that D$^4$LCN outperforms existing works by large margins. For example, the relative improvement of D$^4$LCN against the state-of-the-art on KITTI is 9.1\% in the moderate setting. The code is available at https://github.com/dingmyu/D4LCN.

연구 동기 및 목표

• 단안 3D 객체 검출에서 척도 및 깊이 인식 기능을 포착하는 데 있어 전통적인 2D 컨볼루션의 한계를 해결하기 위해.
• 가짜 LiDAR 기반 방법에서 정확도가 떨어지는 깊이 맵에 의존하는 문제를 해결하기 위해 깊이 가이던스를 컨볼루션 커널 학습 과정에 직접 통합하기 위해.
• 가짜 LiDAR 변환에 의존하지 않고 2D 이미지 특징과 3D 포인트 클라우드 표현 간의 표현 갭을 메우기 위해.
• 깊이 맵를 사용하여 국소 기하학적 특징과 척도 변화에 적응하는 개선된 특징 학습을 가능하게 하는 엔드 투 엔드 학습을 가능하게 하기 위해.

제안 방법

• 각 픽셀 및 채널별로 깊이 맵 가이던스를 사용해 동적으로 생성되는 컨볼루션 필터를 갖는 국소 컨볼루션 네트워크인 D⁴LCN을 제안한다.
• 샘플 고유의 국소적 깊이 지도 기반, 깊이 웨이트, 확장된 컨볼루션 커널을 적응형 수용장역으로 학습하는 깊이 지도 기반 필터링 모듈을 도입한다.
• 각 필터가 고유한 확장률을 가지며, 특징 맵의 각 위치에서 가변 수용장역을 가능하게 하는 동적, 깊이 웨이트, 확장된 컨볼루션 메커니즘을 구현한다.
• 표준 컨볼루션 대비 파rameter를 줄이고 다중 척도 특징을 효율적으로 캡처하기 위해 시프트 풀링 연산을 활용한다.
• LiDAR나 추가 애너테이션에 의존하지 않고 오직 단안 RGB 이미지와 예측된 깊이 맵만을 사용해 엔드 투 엔드로 모델을 학습한다.
• 위치에 관계없이 일관된 객체 시점 표현을 유지하기 위해 할로센트릭 포즈 회귀를 활용한다.

실험 결과

연구 질문

• RQ1 가짜 LiDAR에 의존하지 않고 깊이 지도 기반 동적 컨볼루션 필터가 단안 환경에서 3D 객체 검출 성능을 향상시킬 수 있는가?
• RQ2 적응형 수용장역을 갖는 샘플별, 위치 기반, 깊이 웨이트 컨볼루션을 학습함으로써 척도 및 깊이 인식 기능 표현이 향상되는가?
• RQ3 오직 단안 이미지와 깊이 맵만을 사용하는 완전한 엔드 투 엔드 학습 가능한 네트워크가 KITTI에서 기존 SOTA 방법을 초월할 수 있는가?
• RQ4 고정 또는 공유된 확장률 대비 적응형 확장 메커니즘이 다중 척도 3D 객체 검출을 다루는 데 어떻게 더 효과적인가?

주요 결과

• D⁴LCN은 KITTI의 차량 검출에 대해 중간 설정에서 평균 정밀도(AP) 26.97%를 기록했으며, 이는 이전 SOTA 대비 9.1% 상대적 향상이다.
• 제출 시점 기준 KITTI 단안 3D 객체 검출 벤치마크에서 1위를 기록했으며, 이는 모든 이전 방법을 능가한다.
• 제거 실험 결과 동적, 깊이 웨이트, 확장된 컨볼루션의 조합이 가장 큰 성능 향상을 가져오며, 특히 적응형 확장 메커니즘이 두드러진 성능 향상을 이끌었다.
• 깊이 웨이트 및 시프트 풀링 설계 덕분에 표준 컨볼루션보다 파라미터 수가 적어도 더 높은 성능을 달성했다.
• 블록 간의 확장률 분포를 분석한 결과, 네트워크가 초기 레이어에서는 큰 수용장역을 사용하고 후속 레이어에서는 다양한 확장률을 균형 있게 활용해 다중 척도 검출을 수행하는 것을 학습했다.