[논문 리뷰] VIN: Voxel-based Implicit Network for Joint 3D Object Detection and Segmentation for Lidars

Yuanxin Zhong, Minghan Zhu외 1명|arXiv (Cornell University)|2021. 07. 07.

Remote Sensing and LiDAR Applications참고 문헌 52인용 수 4

한 줄 요약

이 논문은 라이다 포인트 클라우드에서 통합된 3D 객체 검출 및 의미 분할을 위한 프레임워크인 VIN(Voxel-based Implicit Network)을 제안한다. 이는 복셀 기반 검출기의 경량 의미 분류 브랜치를 통합하여 암묵적 의미 표현을 생성한다. 이 방법은 최소한의 계산 부담으로 nuScenes-lidarseg에서 최고 성능을 달성하며, 의미 레이블의 0.1%만을 사용하는 약한 지도 학습 능력도 입증한다.

ABSTRACT

A unified neural network structure is presented for joint 3D object detection and point cloud segmentation in this paper. We leverage rich supervision from both detection and segmentation labels rather than using just one of them. In addition, an extension based on single-stage object detectors is proposed based on the implicit function widely used in 3D scene and object understanding. The extension branch takes the final feature map from the object detection module as input, and produces an implicit function that generates semantic distribution for each point for its corresponding voxel center. We demonstrated the performance of our structure on nuScenes-lidarseg, a large-scale outdoor dataset. Our solution achieves competitive results against state-of-the-art methods in both 3D object detection and point cloud segmentation with little additional computation load compared with object detection solutions. The capability of efficient weakly supervision semantic segmentation of the proposed method is also validated by experiments.

연구 동기 및 목표

• 라이다 포인트 클라우드에서 3D 객체 검출과 의미 분할을 동시에 수행하는 통합 딥러닝 프레임워크를 개발한다.
• 단일 스테이지 3D 검출기의 특징을 재사용하여 의미 분할에 대한 계산 부담을 최소화한다.
• 매우 소량(0.1%)의 레이블링된 의미 포인트만을 사용하여 효과적인 약한 지도 학습 의미 분할을 가능하게 한다.
• 새로운 학습 전략을 통해 3D 경계 상자 예측과 포인트 기반 의미 레이블 간의 모순을 해소한다.
• 밀도 높은 의미 지도 생성과 다운샘플된 포인트 클라우드 추론을 위한 암묵 함수의 유용성을 입증한다.

제안 방법

• 백본 네트워크의 최종 특징 맵에서 암묵 함수를 학습하는 의미 브랜치를 복셀 기반 검출기에 추가하여 단일 스테이지 3D 객체 검출기를 확장한다.
• 암묵 함수는 특징 맵을 쿼리하여 어떤 3D 좌표에서나 의미 분포를 예측함으로써 임의의 공간 위치에서 의미 추론이 가능하다.
• 의미 브랜치는 경계 상자 레이블과 희소한 의미 레이블에서 약한 지도 학습을 통해 학습되며, 밀도 높은 포인트 수준 레이블에 대한 의존도를 줄인다.
• 예측된 의미 레이블과 3D 경계 상자 예측 간의 일관성을 확보하기 위해 일관성 손실을 도입하여 검출 및 분할 출력 간의 불일치를 감소시킨다.
• 암묵 함수를 특정 위치에서 쿼리함으로써 다운샘플된 포인트 클라우드에서도 효율적인 추론을 지원하며, 의미 정확도를 유지한다.
• 정규 격자에서 암묵 함수를 쿼리하여 밀도 높은 의미 지도를 생성함으로써 조망도 기반 의미 표현을 가능하게 한다.

실험 결과

연구 질문

• RQ1 최소한의 계산 비용으로 라이다 포인트 클라우드에서 3D 객체 검출과 의미 분할을 동시에 효과적으로 수행할 수 있는 통합 네트워크 아키텍처가 가능한가?
• RQ2 경계 상자 레이블과 소량의 포인트 수준 레이블만을 사용하여 의미 분할을 얼마나 효과적으로 지도 학습시킬 수 있는가?
• RQ3 통합 학습 중에 3D 경계 상자와 포인트 기반 의미 레이블 간의 불일치를 어떻게 최소화할 수 있는가?
• RQ4 의미 브랜치가 학습한 암묵 함수는 다운샘플링되거나 완전하지 않은 포인트 클라우드에서도 일반화되어 분할 정확도를 유지할 수 있는가?
• RQ5 암묵 함수는 밀도 높은 의미 지도를 효율적으로 생성하여 시나리오 이해나 지ap 생성 등의 후속 작업에 활용할 수 있는가?

주요 결과

• VIN은 3D 객체 검출 및 의미 분할 모두에서 nuScenes-lidarseg 벤치마크에서 최고 성능을 기록하며 기존 방법을 초월한다.
• 의미 레이블의 0.1%만을 사용해도, 전체 관측 포인트 클라우드에서는 mIoU 73.7을 달성했으며, 16개 빔(원본 포인트 클라우드 밀도의 32%)로 제한된 조건에서도 동일한 73.7 mIoU를 기록했다.
• 16개 빔으로 다운샘플된 입력에서의 추론 시에도 높은 분할 정확도(70.2 mIoU)를 유지했으며, 동일 조건에서 최근접 이웃 기반 베이스라인(55.9 mIoU)을 뛰어넘었다.
• 기본 검출기와 거의 동일한 추론 속도(2080Ti 하나에서 5.9 FPS 대 6.0 FPS)를 기록하여 통합 분할에 대한 최소한의 오버헤드를 입증했다.
• 입력이 다운샘플링된 경우에도 라이다 측정이 없는 영역에서 암묵 함수를 통해 정확한 의미 예측이 가능하여 희박한 입력에 대한 강건성을 보였다.
• 암묵 함수 쿼리를 통해 생성된 밀도 높은 의미 지도는 일관된 의미 경계를 보이며, 시각적 해석과 후속 작업에 매우 유용하다.