[논문 리뷰] ProposalContrast: Unsupervised Pre-training for LiDAR-based 3D Object Detection

Junbo Yin, Dingfu Zhou외 5명|arXiv (Cornell University)|2022. 07. 26.

Advanced Neural Network Applications인용 수 7

한 줄 요약

ProposalContrast는 장면 또는 개별 점/바이트 단위가 아닌 영역 제안을 대상으로 대조하여 강력한 3D 표현을 학습하는 비지도 사전 훈련 프레임워크를 제안한다. 이는 영역 제안 내 기하학적 관계를 모델링하기 위해 교차 attention 인코더를 사용하며, 제안 간 구분과 클러스터 간 분리의 공동 최적화를 통해 KITTI, Waymo, ONCE와 같은 다양한 3D 검출기 및 데이터셋에서 최신 기술 성능을 달성한다.

ABSTRACT

Existing approaches for unsupervised point cloud pre-training are constrained to either scene-level or point/voxel-level instance discrimination. Scene-level methods tend to lose local details that are crucial for recognizing the road objects, while point/voxel-level methods inherently suffer from limited receptive field that is incapable of perceiving large objects or context environments. Considering region-level representations are more suitable for 3D object detection, we devise a new unsupervised point cloud pre-training framework, called ProposalContrast, that learns robust 3D representations by contrasting region proposals. Specifically, with an exhaustive set of region proposals sampled from each point cloud, geometric point relations within each proposal are modeled for creating expressive proposal representations. To better accommodate 3D detection properties, ProposalContrast optimizes with both inter-cluster and inter-proposal separation, i.e., sharpening the discriminativeness of proposal representations across semantic classes and object instances. The generalizability and transferability of ProposalContrast are verified on various 3D detectors (i.e., PV-RCNN, CenterPoint, PointPillars and PointRCNN) and datasets (i.e., KITTI, Waymo and ONCE).

연구 동기 및 목표

• 기존 비지도 사전 훈련 방법의 한계를 해결하기 위해, 장면 수준에서는 국소 객체 세부 정보를 손실하고, 점/바이트 수준에서는 세밀한 점에 과도하게 초점을 맞추는 문제를 해결한다.
• 객체 중심의 3D 검출에 더 잘 부합하는 영역 제안을 표현 학습의 단위로 활용하는 새로운 사전 훈련 패러다임을 제안한다.
• 다양한 3D 검출기와 대규모 LiDAR 데이터셋 간에 자기지도 표현의 일반화 및 이식 가능성을 향상시킨다.
• 이중 프리텍스트 작업을 통해 개체 특이적 및 클래스 불변 특징을 모두 캡처하는 방법을 설계한다.

제안 방법

• 구형 샘플링을 사용해 각 LiDAR 포인트 클라우드에서 영역 제안을 추출하고 데이터 증강을 적용함으로써 제안 수준의 대조적 학습 프레임워크를 제안한다.
• 각 제안 내 점 간 기하학적 관계를 모델링하기 위해 교차 attention 기반의 제안 인코더를 활용하여 국소 구조 표현을 향상시킨다.
• 두 가지 공동 프리텍스트 작업을 도입한다: 제안 간 구분(Inter-Proposal Discrimination, IPD)은 개체 특이적 특징을 학습하고, 클러스터 간 분리(Inter-Cluster Separation, ICS)는 Sinkhorn-Knopp 클러스터링을 통한 가짜 레이블을 사용해 클래스 불변 특징을 학습한다.
• IPD와 ICS 목표를 결합한 이중 브랜치 대조 손실을 사용하여 분류성과 일반화 능력을 동시에 최적화한다.
• 대조 학습을 위한 양성 뷰 생성을 위해 무작위 회전 및 포인트 클라우드 마스킹을 통한 데이터 증강을 적용한다.
• 소량의 레이블 데이터만을 사용하여 사전 훈련된 백본을 최종 3D 검출 작업에 미세 조정한다.

실험 결과

연구 질문

• RQ1 제안 수준의 표현 학습이 3D 검출에서 장면 수준 및 점/바이트 수준 사전 훈련을 능가할 수 있는가?
• RQ2 제안 내 기하학적 관계를 모델링함으로써 3D 검출을 위한 특징 품질은 어떻게 향상되는가?
• RQ3 제안 간 구분과 클러스터 간 분리를 공동으로 최적화함으로써 표현 품질에 어떤 영향을 미치는가?
• RQ4 이러한 방법은 다양한 3D 검출기와 데이터셋에서 얼마나 강인한가?
• RQ5 예를 들어 제안 수, 반경, 클러스터링 전략 등의 분석 설정에서 최적의 성능을 내는 조건은 무엇인가?

주요 결과

• CenterPoint에 대해 미세 조정했을 때 Waymo 20% 훈련 분할에서 62.75/60.13 mAP/mAPH를 기록하여 무작위 초기화 기준 59.63/56.96보다 뚜렷이 뛰어난 성능을 보였다.
• 주의 기반 제안 인코더는 MaxPooling 기준 0.81 mAPH 향상으로 내부 기하학적 구조 모델링의 중요성을 입증했다.
• IPD와 ICS의 공동 최적화가 가장 높은 성능을 내며, Sinkhorn-Knopp 클러스터링을 제거하면 mAPH가 2.44 포인트 감소하여 이 작업의 핵심적 역할을 확인했다.
• ICS에서 128개의 클러스터는 256개보다 더 뛰어난 성능을 보였고, 최적의 제안 반경은 1.0m이며, 제안당 2048개의 점을 사용할 때 성능이 최고였다.
• PV-RCNN, CenterPoint, PointPillars, PointRCNN 등 다양한 검출기 간에 일반화가 잘 되었으며, KITTI, Waymo, ONCE에서 강력한 이식 가능성을 보였다.
• 분석 결과, IPD만 사용할 경우 mAPH가 2.60 포인트 향상되었고, ICS만 사용할 경우 1.74 포인트 향상되었으며, 둘의 조합이 가장 높은 성능 향상을 이뤘다.