[논문 리뷰] DEVIANT: Depth EquiVarIAnt NeTwork for Monocular 3D Object Detection

Abhinav Kumar, Garrick Brazil외 3명|arXiv (Cornell University)|2022. 07. 21.

Advanced Neural Network Applications인용 수 4

한 줄 요약

DEVIANT는 표준 컨볼루션을 스케일 등변성의 스터빌라이징 블록으로 대체하여 사영 다양체에서 깊이 이동에 대한 등변성을 보장하는 깊이 등변성 신경망을 제안한다. 이 설계는 깊이 추정의 일관성을 향상시켜 이미지 전용 범주에서 KITTI 및 Waymo 벤치마크에서 최신 기술 수준의 성능을 달성하고, 교차 데이터셋 평가에서 뛰어난 일반화 성능을 보인다.

ABSTRACT

Modern neural networks use building blocks such as convolutions that are equivariant to arbitrary 2D translations. However, these vanilla blocks are not equivariant to arbitrary 3D translations in the projective manifold. Even then, all monocular 3D detectors use vanilla blocks to obtain the 3D coordinates, a task for which the vanilla blocks are not designed for. This paper takes the first step towards convolutions equivariant to arbitrary 3D translations in the projective manifold. Since the depth is the hardest to estimate for monocular detection, this paper proposes Depth EquiVarIAnt NeTwork (DEVIANT) built with existing scale equivariant steerable blocks. As a result, DEVIANT is equivariant to the depth translations in the projective manifold whereas vanilla networks are not. The additional depth equivariance forces the DEVIANT to learn consistent depth estimates, and therefore, DEVIANT achieves state-of-the-art monocular 3D detection results on KITTI and Waymo datasets in the image-only category and performs competitively to methods using extra information. Moreover, DEVIANT works better than vanilla networks in cross-dataset evaluation. Code and models at https://github.com/abhi1kumar/DEVIANT

연구 동기 및 목표

• 표준 CNN이 2D 이동에 대해서만 등변성임에 반해, 단안 3D 검출이 이루어지는 3D 사영 다양체와의 불일치를 해결하기 위해.
• 본질적으로 잘못된 해석이 쉬운 단안 3D 검출에서 깊이 추정의 일관성을 향상시키기 위해.
• 배경에 깊이 등변성을 통합하여 일반화 능력을 향상시키며, 특히 교차 데이터셋 평가에서 성능을 높이기 위해.
• 사영 다양체에서 깊이 이동에 대한 등변성이 더 견고하고 정확한 3D 검출을 이끌어낸다는 것을 입증하기 위해.

제안 방법

• 기본 백본의 표준 컨볼루션 블록을 스케일 등변성의 스터빌라이징 컨볼루션 블록으로 대체하여 깊이(스케일) 변환에 대한 등변성을 강제한다.
• 자율 주행에서의 자가 운동에 대한 현실적인 가정 하에 [30]의 이론적 결과를 활용하여 스케일 변환을 깊이 이동의 대체 측정으로 유도한다.
• 자기 운동에 해당하는 스케일 변환에 따라 특징 맵이 일관되게 변형되도록 하여 깊이 등변성을 강제한다.
• 기존의 스케일 등변성 빌딩 블록을 사용하여 계산 효율성을 유지하면서 네트워크 아키텍처에 등변성을 통합한다.
• 수정된 백본을 사용하여 기존의 표준 검출 헤드(예: GUP-Net 또는 CenterNet에서 유도된 것)로 네트워크를 훈련시켜 검출 헤드 성능을 유지한다.
• 스케일 변환 하에서의 등변성 오차를 측정하는 제어 실험을 통해 등변성을 검증한다.

실험 결과

연구 질문

• RQ1 사영 다양체에서 깊이 이동에 대한 등변성 컨볼루션은 깊이 추정의 일관성을 강화함으로써 단안 3D 객체 검출 성능을 향상시킬 수 있는가?
• RQ2 사영 다양체에서 깊이 이동에 대한 등변성을 통합하면 다양한 데이터셋 간의 일반화 능력이 향상되는가?
• RQ3 기본 CNN 백본에 비해 제안된 DEVIANT 아키텍처는 깊이 추정 정확도와 견고성 측면에서 어떻게 비교되는가?
• RQ4 깊이 등변성은 단안 3D 검출에서 훈련과 검증 간 일반화 갭을 어느 정도 줄이는가?

주요 결과

• DEVIANT는 이미지 전용 범주에서 KITTI 및 Waymo 데이터셋에서 최신 기술 수준의 성능을 달성하여 이전 최신 기술 수준의 방법들을 능가한다.
• 기본 CNN에 비해 DEVIANT는 훨씬 낮은 깊이 등변성 오차를 보이며, 깊이 등변성의 성공적인 통합을 확인한다.
• 교차 데이터셋 평가(예: KITTI 모델을 nuScenes에서 테스트)에서 DEVIANT는 기준 모델보다 더 우수한 일반화 성능을 보이며, 더 적은 오진 탐지와 더 정확한 3D 박스를 생성한다.
• KITTI, nuScenes, Waymo에서의 정성적 결과는 DEVIANT 예측이 GUP-Net에 비해 지상 진실에 더 가까이 있으며, 시간 정보 없이도 더 안정적인 상자 방향 예측을 보임을 보여준다.
• 등변성 오차 데모는 DEVIANT가 스케일 변환 전반에서 낮은 오차를 유지함으로써 이론적 설계의 타당성을 검증한다.
• DEVIANT는 시간 정보를 사용하지 않고도 원시 KITTI 비디오 시퀀스에서 안정적이고 정확한 3D 검출을 달성하여 견고성을 입증한다.