[논문 리뷰] WeakM3D: Towards Weakly Supervised Monocular 3D Object Detection

Liang Peng, Senbo Yan외 4명|arXiv (Cornell University)|2022. 03. 16.

Advanced Neural Network Applications인용 수 12

한 줄 요약

이 논문은 3D 박스 애너테이션의 비용을 줄이기 위해 2D 객체 검출을 통해 라이다 포인트 클라우드에서 객체-라이다 포인트를 추출하여 약한 지도 신호로 사용하는, 약한 지도 학습 기반의 단안 3D 객체 검출 방법인 WeakM3D를 제안한다. 기하학적 정렬 손실, 표면 모호성 해결을 위한 레이 트레이싱 손실, 균형 잡히지 않은 포인트 분포에 대응하기 위한 손실 보정, 그리고 학습 분리 기법을 도입하여 KITTI에서 최신 기준 성능을 달성하였으며, 일부 완전 지도 학습 방법을 뛰어넘기도 한다.

ABSTRACT

Monocular 3D object detection is one of the most challenging tasks in 3D scene understanding. Due to the ill-posed nature of monocular imagery, existing monocular 3D detection methods highly rely on training with the manually annotated 3D box labels on the LiDAR point clouds. This annotation process is very laborious and expensive. To dispense with the reliance on 3D box labels, in this paper we explore the weakly supervised monocular 3D detection. Specifically, we first detect 2D boxes on the image. Then, we adopt the generated 2D boxes to select corresponding RoI LiDAR points as the weak supervision. Eventually, we adopt a network to predict 3D boxes which can tightly align with associated RoI LiDAR points. This network is learned by minimizing our newly-proposed 3D alignment loss between the 3D box estimates and the corresponding RoI LiDAR points. We will illustrate the potential challenges of the above learning problem and resolve these challenges by introducing several effective designs into our method. Codes will be available at https://github.com/SPengLiang/WeakM3D.

연구 동기 및 목표

• 단안 3D 객체 검출에서 고비용 3D 박스 애너테이션에 의존하는 것을 제거하기 위해.
• 2D 객체 검출과 라이다 포인트 클라우드를 지도 신호로 활용하는 약한 지도 학습 프레임워크를 개발하기 위해.
• 정렬 모호성, 균형 잡히지 않은 포인트 분포, 그리고 뒤얽힌 3D 파라미터 추정과 같은 약한 지도 학습 3D 검출의 핵심 과제를 해결하기 위해.
• 완전 지도 학습 방법 중 일부를 뛰어넘는 강력한 약한 지도 학습 기반 단안 3D 객체 검출의 기준 성능을 확립하기 위해.

제안 방법

• 단안 이미지에 대해 사전 구축된 2D 검출기로 2D 객체 후보 영역을 생성한다.
• 2D 바운딩 박스를 라이다 포인트 클라우드에 투영하여 약한 지도 신호로 사용할 객체-라이다 포인트를 추출한다.
• 3D 박스 예측과 객체-라이다 포인트 간의 공간 거리를 최소화하기 위해 기하학적 포인트-박스 정렬 손실을 도입한다.
• 카메라 광학 중심에서 라이다 포인트까지의 레이를 시뮬레이션하고 예측된 3D 박스와의 충돌 여부를 검출하여 정렬 모호성을 해결하는 레이 트레이싱 손실을 제안한다.
• 포인트 밀도 기반 손실 보정을 적용하여 라이다 포인트 분포의 불균형이 학습에 미치는 영향을 완화한다.
• 객체 차원을 동결하고 객체-라이다 포인트에서 힌트를 얻어 방향을 히우리스틱하게 추정함으로써 학습 부담을 줄이는 학습 분리 기법을 구현한다.

실험 결과

연구 질문

• RQ1 2D 객체 검출과 라이다 포인트 클라우드를 효과적으로 융합하여 3D 박스 애너테이션 없이 약한 지도 학습 기반의 단안 3D 객체 검출을 구현할 수 있는가?
• RQ2 단일 표면에서 촬영한 라이다 포인트와 3D 박스 예측을 매칭할 때 정렬 모호성을 어떻게 해결할 수 있는가?
• RQ3 불균형한 라이다 포인트 분포가 포인트 단위 손실 함수에 악영향을 미치는 것을 방지하기 위한 전략은 무엇인가?
• RQ4 3D 파라미터 추정을 분리함으로써 약한 지도 학습 환경에서 학습 안정성과 성능이 어떻게 향상되는가?

주요 결과

• WeakM3D는 KITTI 검증 세트에서 차량 카테고리에 대해 58.20% BEV AP와 50.16% 3D AP (IoU=0.5)를 달성하여 여러 완전 지도 학습 방법을 뛰어넘었다.
• 절단 실험을 통해 기하학적 정렬, 레이 트레이싱, 손실 보정, 학습 분리 기법 등이 성능 향상에 기여한다는 것이 확인되었다.
• 2D 박스 지도 신호만을 사용할 경우에도 55.94% BEV AP와 47.52% 3D AP를 달성하여 약한 지도 신호의 효과성을 입증하였다.
• 레이 트레이싱 손실의 포함으로 정렬 모호성이 감소하고, 특히 어려운 샘플에서 3D 정렬 정확도가 향상되었다.
• 포인트 밀도 기반 손실 보정은 학습을 안정화시키고, 밀도가 높은 영역이 손실 기울기의 지배를 차지하는 것을 방지한다.
• 이 방법은 다양한 백본 네트워크(예: PatchNet, CenterNet)에 적용되었을 때도 유사한 성능을 보이며 일반화 능력이 뛰어나다.