[논문 리뷰] MVM3Det: A Novel Method for Multi-view Monocular 3D Detection

Haoran Li, Zicheng Duan외 4명|arXiv (Cornell University)|2021. 09. 22.

Advanced Neural Network Applications참고 문헌 28인용 수 5

한 줄 요약

MVM3Det는 다중 시야 단안 3D 객체 검출 방법을 제안하며, 여러 카메라 시야 간의 특징 융합을 통해 3D 위치와 방향을 동시에 추정한다. 이는 일관된 글로벌 특징 학습을 위한 특징 수직 변환을 갖춘 위치 제안 네트워크와 레이블 및 특징 혼동을 해결하기 위한 특징 시점 풀링을 갖춘 다중 분지 방향 추정 네트워크를 도입하여, MVM3D 및 WildTrack 데이터셋에서 최신 기술 수준의 성능을 달성하며, 처음으로 정확한 방향 추정을 실현한다.

ABSTRACT

Monocular 3D object detection encounters occlusion problems in many application scenarios, such as traffic monitoring, pedestrian monitoring, etc., which leads to serious false negative. Multi-view object detection effectively solves this problem by combining data from different perspectives. However, due to label confusion and feature confusion, the orientation estimation of multi-view 3D object detection is intractable, which is important for object tracking and intention prediction. In this paper, we propose a novel multi-view 3D object detection method named MVM3Det which simultaneously estimates the 3D position and orientation of the object according to the multi-view monocular information. The method consists of two parts: 1) Position proposal network, which integrates the features from different perspectives into consistent global features through feature orthogonal transformation to estimate the position. 2) Multi-branch orientation estimation network, which introduces feature perspective pooling to overcome the two confusion problems during the orientation estimation. In addition, we present a first dataset for multi-view 3D object detection named MVM3D. Comparing with State-Of-The-Art (SOTA) methods on our dataset and public dataset WildTrack, our method achieves very competitive results.

연구 동기 및 목표

• 실생활 시나리오인 교통 및 보행자 모니터링에서 발생하는 음영으로 인한 높은 가짜 음성 비율을 해결하기 위해.
• 단안 카메라를 사용할 경우 다중 시야 3D 방향 추정에서 발생하는 레이블 혼동과 특징 혼동이라는 이중 과제를 해결하기 위해.
• 심도 센서에 의존하지 않고도 다중 시야 정보를 융합하여 강력한 3D 객체 국소화 및 방향 예측을 위한 통합 프레임워크를 개발하기 위해.
• 미래 연구를 지원하기 위해 다중 시야 단안 3D 객체 검출을 위한 첫 전용 데이터셋인 MVM3D를 제공하기 위해.

제안 방법

• 위치 제안 네트워크는 다중 시야 이미지 특징을 일관된 베이비스 아이템 뷰(Bird's Eye View, BEV) 공간으로 투영하기 위해 특징 수직 변환을 사용하여 통합된 3D 위치 추정을 가능하게 한다.
• 다중 분지 방향 추정 네트워크는 각 시야별 상대적 방향을 예측하도록 설계되어, 다양한 시점 간 일관성 없는 레이블로 인한 모호성을 감소시킨다.
• 특징 시점 풀링은 시점 차이로 인해 공간적으로 이동된 특징을 분리하여, 방향 학습 중 특징 혼동을 완화한다.
• BEV 공간에서 3D 경계 상자 회귀와 방향 추정을 동시에 최적화하기 위해 다중 분지 회귀 손실을 사용한다.
• 프레임워크는 종단 간 학습을 통해 PPN(위치 제안 네트워크) 손실과 다중 분지 회귀(MBR) 손실을 사용하여 국소화 및 방향 정확도를 향상시킨다.
• 제안된 방법은 새로 도입된 MVM3D 데이터셋과 공개된 WildTrack 데이터셋을 대상으로 평가되어 일반화 능력과 강건성을 검증한다.

실험 결과

연구 질문

• RQ1 단일 시야 방법에 비해 다중 시야 단안 데이터가 3D 객체 검출에서 음영으로 인한 가짜 음성 비율을 효과적으로 줄일 수 있는가?
• RQ2 다른 카메라 시야에서 유도된 특징이 다양한 공간 투영을 가지는 상황에서 일관된 3D 위치 추정은 어떻게 달성할 수 있는가?
• RQ3 통합 네트워크 아키텍처를 사용할 경우 다중 시야 3D 방향 추정에서 레이블 혼동과 특징 혼동을 어느 정도 완화할 수 있는가?
• RQ4 시점 인지 특징 풀링을 갖춘 다중 분지 네트워크는 단일 시야 또는 단순 융합 기반 베이스라인에 비해 방향 추정 정확도를 향상시킬 수 있는가?
• RQ5 제안된 방법은 자체 제작 및 공개된 다중 시야 3D 검출 벤치마크에서 최신 기술 수준의 성능을 달성하는가?

주요 결과

• MVM3D 데이터셋에서 MVM3Det는 95.9% AP3D, 83.2% MODP, 99.2% 정밀도, 95.8% 재현율을 기록하여, 분석 기반 베이스라인보다 뚜렷이 뛰어난 성능을 보였다.
• 다중 분지 방향 추정 네트워크는 IoU=0.5일 때 기준 30.3%에서 49.0%로 방향 AP3D를 향상시켜 방향 혼동 문제를 효과적으로 해결함을 입증했다.
• 완전한 MVM3Det 모델은 MVM3D에서 94.7% MODA와 80.6% MODP를 달성하여 복잡한 음영 조건에서도 강력한 국소화 성능을 보였다.
• 분석 연구를 통해 다중 시야 특징 융합(FOT 및 MBR 포함)이 가짜 음성 비율을 감소시키고 국소화 및 방향 정확도를 향상시킴을 확인했다.
• 공개된 WildTrack 데이터셋에서도 MVM3Det는 경쟁력 있는 성능을 기록하여, MVM3D 벤치마크를 초월한 일반화 능력을 확인했다.
• 다양한 조명 및 음영 조건을 갖춘 제안된 MVM3D 데이터셋은 향후 다중 시야 단안 3D 객체 검출 연구를 위한 새로운 기준을 제공한다.