[논문 리뷰] Depth-conditioned Dynamic Message Propagation for Monocular 3D Object Detection

Li Wang, Liang Du외 6명|arXiv (Cornell University)|2021. 03. 30.

Advanced Neural Network Applications참고 문헌 49인용 수 12

한 줄 요약

이 논문은 단일 RGB 영상에서의 척도 변동성과 깊이 정보 부족 문제를 해결하기 위해, 동적 컨텍스트 기반 노드 샘플링과 깊이 조절 다중 척도 필터 가중치 및 유사도 행렬을 사용하는 그래프 기반 방법 DDMP-3D를 제안한다. 중심 인식 깊이 인코딩 작업을 통합함으로써 부정확한 깊이 사전 지식의 영향을 줄여, 2020년 11월 16일 기준 KITTI 벤치마크에서 단일 영상 3D 객체 검출 트랙에서 1위를 기록하며 최신 기술 수준을 달성한다.

ABSTRACT

The objective of this paper is to learn context- and depth-aware feature representation to solve the problem of monocular 3D object detection. We make following contributions: (i) rather than appealing to the complicated pseudo-LiDAR based approach, we propose a depth-conditioned dynamic message propagation (DDMP) network to effectively integrate the multi-scale depth information with the image context;(ii) this is achieved by first adaptively sampling context-aware nodes in the image context and then dynamically predicting hybrid depth-dependent filter weights and affinity matrices for propagating information; (iii) by augmenting a center-aware depth encoding (CDE) task, our method successfully alleviates the inaccurate depth prior; (iv) we thoroughly demonstrate the effectiveness of our proposed approach and show state-of-the-art results among the monocular-based approaches on the KITTI benchmark dataset. Particularly, we rank $1^{st}$ in the highly competitive KITTI monocular 3D object detection track on the submission day (November 16th, 2020). Code and models are released at \url{https://github.com/fudan-zvg/DDMP}

연구 동기 및 목표

• 단일 뷰 RGB 영상에서 척도 변동성과 깊이 정보 부족 문제로 인해 어려움을 겪는 단일 영상 3D 객체 검출 문제를 해결하기 위해.
• 부정확한 깊이 맵에 의존하고 RGB 영상의 의미 정보를 기각하는 허위-LiDAR 방법의 한계를 극복하기 위해.
• 다양한 척도의 깊이 특징을 이미지 컨텍스트와 융합함으로써 동적이고 깊이 인식 기반의 특징 표현을 향상시키기 위해.
• 부정확한 깊이 사전 지식이 3D 위치 추정에 미치는 영향을 줄이기 위해 보조적인 중심 인식 깊이 인코딩 작업을 도입하기 위해.
• 비용이 많이 드는 LiDAR 센서에 의존하지 않고도 단일 영상 3D 객체 검출에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 각 특징 맵 픽셀을 노드로 간주하는 그래프 기반 공식화를 사용하여, 맥락적으로 관련성이 높은 인접 노드를 동적으로 샘플링한다.
• 다중 척도 깊이 특징을 사용하여 깊이에 따라 조절되는 하이브리드 필터 가중치 및 유사도 행렬을 학습하는 깊이 조절 동적 메시지 전파를 도입한다.
• 이중 브랜치 아키텍처를 사용한다: 하나는 3D 검출을 위한 것이고, 다른 하나는 깊이 특징 추출을 위한 것이다. DDMP 모듈은 하부 브랜치에서 생성된 깊이 특징을 사용하여 이미지 브랜치에서 작동한다.
• 깊이 특징이 인스턴스 인식 기반이 되도록 유도하기 위해 보조 손실로 중심 인식 깊이 인코딩(CDE) 작업을 도입한다.
• 모델은 종합 최적화를 통해 엔드 투 엔드로 훈련되며, 추론 과정에서는 CDE 헤드가 제거된다.
• 다중 척도 깊이 특징을 사용하여 다양한 객체 척도에서의 인식 능력을 향상시켜 시각 왜곡에 대한 강건성을 높인다.

Figure 1: Left : DDMP adaptively samples context-aware nodes (top) in the image context and dynamically predicting hybrid depth-dependent filter weights and affinity matrices (bottom) for propagating information. Right : the improvement of DDMP-3D (red) over the baseline (yellow) via center-aware de

실험 결과

연구 질문

• RQ1 다중 척도 깊이 특징에 조건화된 동적 메시지 전파가 단일 영상 3D 객체 검출에서 맥락 인식 기반 특징 학습에 기여하는가?
• RQ2 깊이 인식 기반 그래프 기반 전파를 통합할 경우, 단순한 특징 융합 또는 허위-LiDAR 접근 방식과 비교해 3D 검출 성능에 어떤 영향을 미치는가?
• RQ3 중심 인식 깊이 인코딩 작업이 부정확한 깊이 사전 지식이 3D 위치 추정에 미치는 부정적 영향을 어느 정도 줄일 수 있는가?
• RQ4 제안된 방법은 단일 영상 및 스테레오 기반 추정기와 같은 다양한 깊이 추정 네트워크에 일반화되는가?
• RQ5 제안된 접근 방식은 LiDAR 데이터에 의존하지 않고도 KITTI 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 제안된 DDMP-3D 모델은 KITTI 3D 검출 '쉬움' 서브셋에서 평균 정밀도(AP) 30.83%를 기록하여, 2020년 11월 16일 기준 공식 KITTI 단일 영상 3D 검출 벤치마크에서 1위를 달성하였다.
• 제거 실험 결과, 동적 메시지 전파만으로도 '중간' 서브셋에서 AP가 18.82%에서 22.36%로 향상되어 그래프 기반 메커니즘이 효과적임을 입증하였다.
• 다중 척도 깊이 특징(Group III)을 사용할 경우 단일 척도 깊이 특징보다 0.48% 향상된 성능을 기록하여 척도 인식 기반 깊이 인식의 유용성을 확인하였다.
• 중심 인식 깊이 인코딩(CDE) 작업을 추가함으로써 '쉬움' 서브셋의 AP가 28.12%에서 31.14%로 향상되어 위치 추정 정확도 향상이 뚜렷하게 나타났다.
• 기본 모델 및 D⁴LCN 모델보다 성능이 뛰어나, '쉬움' 및 '중간' 서브셋에서 각각 5.42%와 6.50% 향상된 성과를 기록하였다.
• DORN 및 PSMNet와 같은 다양한 깊이 추정기에서 일관된 성능 향상을 보여, 다양한 깊이 품질에 대한 강력한 일반화 능력을 입증하였다.

Figure 2: Schematic illustration of our proposed DDMP-3D. Two branches are involved including 3D detection branch (colored in blue) and depth feature extraction branch (colored in green). The DDMP modules in yellow color reveal the depth-conditioned dynamic message propagation. It dynamically sample