[논문 리뷰] Weakly Supervised 3D Object Detection from Point Clouds

Zengyi Qin, Jinglu Wang외 1명|arXiv (Cornell University)|2020. 07. 28.

Advanced Neural Network Applications참고 문헌 43인용 수 5

한 줄 요약

이 논문은 3D 바운딩 박스 애너테이션을 제거하기 위해 정규화된 포인트 클라우드 밀도와 이미지 기반의 티처 네트워크를 통한 크로스모달 지식 정복을 활용하는 약한 감독 3D 객체 검출 프레임워크 VS3D를 제안한다. 이 방법은 KITTI에서 강력한 성능을 보이며, 3D 감독 없이도 약한 감독 3D 검출 분야에서 최고 수준의 성능을 달성한다.

ABSTRACT

A crucial task in scene understanding is 3D object detection, which aims to detect and localize the 3D bounding boxes of objects belonging to specific classes. Existing 3D object detectors heavily rely on annotated 3D bounding boxes during training, while these annotations could be expensive to obtain and only accessible in limited scenarios. Weakly supervised learning is a promising approach to reducing the annotation requirement, but existing weakly supervised object detectors are mostly for 2D detection rather than 3D. In this work, we propose VS3D, a framework for weakly supervised 3D object detection from point clouds without using any ground truth 3D bounding box for training. First, we introduce an unsupervised 3D proposal module that generates object proposals by leveraging normalized point cloud densities. Second, we present a cross-modal knowledge distillation strategy, where a convolutional neural network learns to predict the final results from the 3D object proposals by querying a teacher network pretrained on image datasets. Comprehensive experiments on the challenging KITTI dataset demonstrate the superior performance of our VS3D in diverse evaluation settings. The source code and pretrained models are publicly available at https://github.com/Zengyi-Qin/Weakly-Supervised-3D-Object-Detection.

연구 동기 및 목표

• 3D 객체 검출의 높은 애너테이션 비용 문제를 해결하기 위해 3D 바운딩 박스 애너테이션의 필요성을 제거한다.
• 학습을 위해 쌍체의 이미지와 포인트 클라우드를 활용하는 약한 감독 프레임워크를 개발한다.
• 기하학적 신호를 활용하여 비정형 포인트 클라우드에서 정확한 3D 객체 프로포절을 생성한다.
• 이미지 기반 모델에서 포인트 클라우드 검출기로 지식을 전달하기 위해 크로스모달 정복을 활용한다.
• 최소한의 애너테이션 노력으로 새로운 환경에서 3D 검출기의 신속한 구현을 가능하게 한다.

제안 방법

• 비감독 3D 객체 프로포절 모듈(UPM)은 정규화된 포인트 클라우드 밀도(NPCD)가 높은 3D 앵커를 식별함으로써 프로포절을 생성한다. NPCD는 거리에 영향을 받지 않으며, 객체 존재 여부를 더 잘 반영한다.
• UPM은 NPCD 기반으로 앵커를 선택하여 중복 프로포절을 제거하며, 앵커의 98% 이상를 제거하면서도 객체 관련 영역은 유지한다.
• 크로스모달 지식 정복 전략을 통해 사전 학습된 이미지 분류기(티처)의 지식을 포인트 클라우드 기반 검출기(학생)로 전달한다. 이때 프로젝션된 3D 프로포절을 사용한다.
• 학생 네트워크는 객체 분류 및 회전 회귀에 대해 티처의 예측을 모방함으로써, 3D 레이블 없이도 약한 감독을 가능하게 한다.
• 이 프레임워크는 쌍체의 이미지와 포인트 클라우드를 사용하며, 프로포절이 이미지에 투영되어 티처 네트워크에 의해 분류된다.
• 이 방법은 정복 손실을 통해 엔드 투 엔드로 학습되며, 학생 네트워크가 오직 이미지 수준의 감독만으로 학습할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 3D 애너테이션이 전혀 없이도 원시 포인트 클라우드에서 효과적으로 3D 객체 프로포절을 생성할 수 있는가?
• RQ2 이미지 기반 모델의 지식을 성공적으로 포인트 클라우드 도메인의 3D 객체 검출 향상에 전달할 수 있는가?
• RQ3 정규화된 포인트 클라우드 밀도는 원시 밀도 또는 필터링되지 않은 프로포절에 비해 객체 프로포절 품질에서 어떻게 비교되는가?
• RQ4 학습 중에 진짜 3D 바운딩 박스가 전혀 사용되지 않을 경우, 약한 감독 3D 검출의 성능은 어떠한가?
• RQ5 이 방법은 LiDAR, 단안, 스테레오와 같은 다양한 입력 모odal에서 어떻게 일반화되는가?

주요 결과

• 제안된 정규화된 포인트 클라우드 밀도(NPCD)는 원시 포인트 클라우드 밀도 및 필터링되지 않은 앵커 전략보다 우수한 성능을 보이며, 먼 거리에 있는 객체의 거짓 음성 수를 감소시킨다.
• UPM은 중복 앵커의 98% 이상를 제거하면서도 객체 관련 프로포절은 유지하여 효율성과 정확도를 크게 향상시킨다.
• VS3D는 약한 감독 3D 객체 검출 분야에서 KITTI 데이터셋에서 최고 성능을 달성하였으며, 일부 지표에서는 완전 감독 기반 베이스라인을 초월하기도 한다.
• 단안 및 스테레오 형식의 VS3D는 LiDAR 형식보다 2D 지표와 저 IoU 3D 지표에서 더 뛰어난 성능을 보이며, 이는 이미지에서 유도된 더 높은 해상도의 포인트 클라우드 덕분이다.
• LiDAR 형식은 고 IoU 3D 지표에서 더 뛰어난 성능을 보이며, LiDAR 데이터의 기하학적 정밀도의 이점을 입증한다.
• 크로스모달 정복 전략을 통해 학생 네트워크는 3D 애너테이션이 전혀 없이도 이미지 수준의 감독만으로 강력한 3D 검출 능력을 습득하며, 뛰어난 일반화 성능을 달성한다.