[논문 리뷰] Learning Auxiliary Monocular Contexts Helps Monocular 3D Object Detection

Xianpeng Liu, Nan Xue외 1명|arXiv (Cornell University)|2021. 12. 08.

Advanced Neural Network Applications인용 수 7

한 줄 요약

이 논문은 단일 RGB 이미지에서 3D 객체 검출을 위한 단순하면서도 효과적인 방법인 MonoCon을 제안한다. 이 방법은 3D 바운딩 박스에서 유도된 투영된 2D 감독 신호(예: 모서리 키포인트 및 오프셋 벡터)를 보조 작업으로 활용하여 학습한다. 경량 회귀 헤드 설계를 통해 이러한 단일 뷰 맥락을 엔드 투 엔드로 학습함으로써, LiDAR나 깊이 추정과 같은 추가 데이터를 사용하지 않고도 KITTI 벤치마크에서 최고 성능을 기록한다(자동차에 대해 26.33 AP@R40). 또한 38.7 fps의 빠른 추론 속도를 확보하여 기존 방법들을 능가한다.

ABSTRACT

Monocular 3D object detection aims to localize 3D bounding boxes in an input single 2D image. It is a highly challenging problem and remains open, especially when no extra information (e.g., depth, lidar and/or multi-frames) can be leveraged in training and/or inference. This paper proposes a simple yet effective formulation for monocular 3D object detection without exploiting any extra information. It presents the MonoCon method which learns Monocular Contexts, as auxiliary tasks in training, to help monocular 3D object detection. The key idea is that with the annotated 3D bounding boxes of objects in an image, there is a rich set of well-posed projected 2D supervision signals available in training, such as the projected corner keypoints and their associated offset vectors with respect to the center of 2D bounding box, which should be exploited as auxiliary tasks in training. The proposed MonoCon is motivated by the Cramer-Wold theorem in measure theory at a high level. In implementation, it utilizes a very simple end-to-end design to justify the effectiveness of learning auxiliary monocular contexts, which consists of three components: a Deep Neural Network (DNN) based feature backbone, a number of regression head branches for learning the essential parameters used in the 3D bounding box prediction, and a number of regression head branches for learning auxiliary contexts. After training, the auxiliary context regression branches are discarded for better inference efficiency. In experiments, the proposed MonoCon is tested in the KITTI benchmark (car, pedestrain and cyclist). It outperforms all prior arts in the leaderboard on car category and obtains comparable performance on pedestrian and cyclist in terms of accuracy. Thanks to the simple design, the proposed MonoCon method obtains the fastest inference speed with 38.7 fps in comparisons

연구 동기 및 목표

• 깊이, LiDAR, 또는 다중 프레임 데이터에 의존하지 않고 단일 영상에서 정확한 3D 객체 위치 추정 문제를 해결하기 위해.
• 3D 바운딩 박스의 투영으로부터 유도된 풍부하고 잘 정의된 2D 감독 신호를 활용하여 단일 뷰 3D 검출 성능을 향상시키기 위해.
• 검출 성능을 보조 맥락 학습을 통해 향상시키는 최소한의 엔드 투 엔드 학습 가능한 프레임워크를 설계하기 위해.
• 주의 정규화와 같은 아키텍처 개선 기법과 비교하여 보조 맥락의 효과성을 검증하기 위해.
• 실시간 자율 주행 응용 프로그램에 적합한 고정밀도와 빠른 추론 속도를 동시에 확보하기 위해.

제안 방법

• 표준 ConvNet 백본을 사용하여 단일 RGB 이미지에서 특징을 추출한다.
• 3D 중심, 치수, 방향성과 같은 핵심 3D 검출 파rameter를 예측하기 위해 공유된 회귀 헤드 모듈을 활용한다.
• 보조 단일 뷰 맥락을 예측하기 위한 추가적인 회귀 헤드를 도입한다. 이는 투영된 2D 모서리 키포인트, 2D 중심에서의 오프셋, 기타 기하 신호를 포함한다.
• 보조 헤드는 주 검출 헤드와 함께 엔드 투 엔드로 학습되며, 추론 시에는 제거되어 속도를 유지한다.
• 모델 설계는 3D 구조의 투영을 2D 측정을 통해 학습하는 데 정당성을 부여하는 Cramèr–Wold 정리에 기반한다.
• 보조 맥락에는 클래스 무관 헤드를, 검출에는 클래스별 헤드를 사용하며, 자동차, 보행자, 자전거 기사 카테고리 간 공동 학습을 수행한다.

실험 결과

연구 질문

• RQ1 3D 바운딩 박스에서 유도된 투영된 2D 감독 신호를 학습함으로써 단일 뷰 3D 검출 성능 향상이 가능한가?
• RQ2 다양한 종류의 보조 맥락(예: 모서리 점, 오프셋 벡터)이 검출 정확도에 어떤 기여를 하는가?
• RQ3 제안된 보조 학습 프레임워크가 주의 정규화와 같은 아키텍처 개선 기법보다 우월한가?
• RQ4 제거 가능한 보조 헤드를 갖춘 최소한의 엔드 투 엔드 설계가 고정밀도와 빠른 추론 속도를 동시에 달성할 수 있는가?
• RQ5 보조 맥락으로부터의 성능 향상은 자동차, 보행자, 자전거 기사 등 다양한 객체 카테고리에서 일관되게 나타나는가?

주요 결과

• MonoCon은 KITTI 자동차 카테고리에서 26.33 AP@R40를 기록하여 랭킹에서 모든 이전 방법들을 능가한다.
• 중간 난이도 설정에서는 19.01 AP@R40, 어려운 예제에서는 15.98 AP@R40를 기록한다.
• 재학습된 향상된 MonoDLE 모델과 비교했을 때, 다양한 난이도 수준에서 평균 3.37% 향상된 성능을 기록한다.
• 제거 실험 결과, 중간 난이도에서 보조 맥락이 기반 모델 대비 8.49%의 절대적 성능 향상을 기록한다.
• 모델은 38.7 fps의 추론 속도를 확보하여 최신 기술들 중에서 가장 빠른 속도를 기록한다.
• 클래스 무관 보조 헤드가 클래스별 헤드보다 우수하며, 카테고리 간 공동 학습이 전체 성능 향상에 기여한다.