[논문 리뷰] What You See is What You Get: Exploiting Visibility for 3D Object Detection

Peiyun Hu, Jason Ziglar외 2명|arXiv (Cornell University)|2019. 12. 10.

Advanced Neural Network Applications참고 문헌 35인용 수 13

한 줄 요약

이 논문은 볼륨 기반 네트워크를 향상시키기 위해 볼륨화된 가시성 맵을 추가 입력 스트림으로 통합함으로써 시야 인식 3D 객체 검출 프레임워크를 제안한다. 훈련 중 레이캐스팅을 활용해 가시성 계산을 통해, 아키텍처의 대대적인 개선 없이 NuScenes 벤치마크에서 검출 정확도를 향상시킨다. 데이터 증강 및 시간적 집계와 결합했을 때 최신 기술 검출기들 전반에 걸쳐 일관된 성능 향상을 보여준다.

ABSTRACT

Recent advances in 3D sensing have created unique challenges for computer vision. One fundamental challenge is finding a good representation for 3D sensor data. Most popular representations (such as PointNet) are proposed in the context of processing truly 3D data (e.g. points sampled from mesh models), ignoring the fact that 3D sensored data such as a LiDAR sweep is in fact 2.5D. We argue that representing 2.5D data as collections of (x, y, z) points fundamentally destroys hidden information about freespace. In this paper, we demonstrate such knowledge can be efficiently recovered through 3D raycasting and readily incorporated into batch-based gradient learning. We describe a simple approach to augmenting voxel-based networks with visibility: we add a voxelized visibility map as an additional input stream. In addition, we show that visibility can be combined with two crucial modifications common to state-of-the-art 3D detectors: synthetic data augmentation of virtual objects and temporal aggregation of LiDAR sweeps over multiple time frames. On the NuScenes 3D detection benchmark, we show that, by adding an additional stream for visibility input, we can significantly improve the overall detection accuracy of a state-of-the-art 3D detector.

연구 동기 및 목표

• LiDAR 스위프트를 3D 포인트 클라우드로 표현할 때 발생하는 가시성 및 자유공간 정보의 손실 문제를 해결하기 위해.
• 기본적인 3D 표현에서 자주 버려지는 가시성 힌트들이 딥러닝 파이프라인에 효율적으로 복원되고 통합될 수 있음을 보여주기 위해.
• 핵심 네트워크 아키텍처를 수정하지 않고도 볼륨 기반 검출기에 가시성 스트림을 추가함으로써 3D 객체 검출 성능을 향상시키기 위해.
• 가시성 추론이 LiDAR 기반 검출에서 합성 데이터 증강 및 시간적 집계를 어떻게 향상시키는지 보여주기 위해.

제안 방법

• LiDAR 포인트 클라우드에서 가시성 맵을 계산하기 위한 레이캐스팅 기반 알고리즘을 도입하며, 이를 볼륨화하여 추가 입력 채널로 사용한다.
• 각 볼륨에서 레이를 쏴 각 선형 시야를 따라 어떤 포인트가 가시한지 확인함으로써 가시성을 계산하며, 가림 정보를 유지한다.
• 두 스트림 3D 검출기 아키텍처에서 조기 또는 후기 융합 전략을 통해 가시성 맵을 포인트 클라우드 특징과 융합한다.
• PointPillars와 같은 기존 3D 검출기와 호환되어 핵심 수정 없이 플러그인 방식 통합이 가능하다.
• 배치 기반 역전파를 사용해 가시성 스트림을 엔드 투 엔드로 훈련시키며, 레이캐스팅 과정을 통해 기울기 흐름이 유도된다.
• 합성 데이터 증강 및 시간적 집계를 적용했을 때와 아닐 때를 비교 평가하여, 가시성이 양쪽 모두에서 성능 향상을 이룬다.

실험 결과

연구 질문

• RQ1 LiDAR 스위프트에서 가시성 정보를 딥러닝 모델에 효율적으로 복원하고 통합할 수 있는가?
• RQ2 가시성 정보를 추가 입력 스트림으로 통합하면 NuScenes와 같은 표준 벤치마크에서 검출 정확도가 향상되는가?
• RQ3 가시성 추론은 3D 검출에서 합성 데이터 증강 및 시간적 집계를 어떻게 향상시키는가?
• RQ4 가시성 맵를 역전파를 통해 미분 가능하게 계산하고 엔드 투 엔드 훈련이 가능한가?
• RQ5 가시성 스트림은 PointPillars와 같은 최신 기술 검출 파이프라인과 결합했을 때 효과적인가?

주요 결과

• 기본 모델인 PointPillars 대비 가시성 스트림을 추가함으로써 NuScenes 3D 검출 벤치마크에서 평균 정밀도(mAP)가 2.1% 향상되었다.
• 가시성 인식 검출은 NuScenes 테스트 세트에서 mAP 51.3%를 기록했으며, 기본 PointPillars 모델 대비 2.1%포인트 높은 성능을 보였다.
• 가시성 스트림은 큰 객체와 작은 객체 카테고리 전반에 걸쳐 일관된 성능 향상을 제공했으며, 큰 객체에서는 2.3% 향상되었고, 작은 객체에서는 1.8% 향상되었다.
• 가시성 추론은 더 현실적인 가상 객체 배치를 가능하게 하여 합성 데이터 증강을 향상시켰다.
• 여러 개의 LiDAR 스위프트에 걸쳐 가시성 맵를 시간적으로 집계하면 검출 성능이 향상되며, 온라인 점유도 맵핑을 모방한다.
• 이러한 성과는 최소한의 아키텍처 변경으로 달성되었으며, 3D 검출에 있어 가시성 정보가 단순하면서도 강력한 인덕티브 바이어스로서의 효과를 입증한다.