[논문 리뷰] An LSTM Approach to Temporal 3D Object Detection in LiDAR Point Clouds

Rui Huang, Wanyue Zhang외 5명|arXiv (Cornell University)|2020. 07. 24.

Advanced Neural Network Applications참고 문헌 50인용 수 11

한 줄 요약

이 논문은 LiDAR 포인트 클라우드에서 시간적 3D 객체 검출을 위한 새로운 LSTM 기반 프레임워크를 제안한다. 고성능 3D 포인트와 연관된 메모리/히든 상태를 활용하여 희박한 3D 컨볼루션 특징을 통합함으로써 순차적 프레임 간 검출 정확도를 향상시킨다. 이 방법은 단일 프레임 기반 기준 대비 7.5% 높은 mAP@0.7을 달성하고, 다중 프레임 병합 방법 대비 1.2% 향상된 성능을 보이며, 관련 특징만 선택적으로 전파함으로써 낮은 메모리 및 계산 오버헤드를 유지한다.

ABSTRACT

Detecting objects in 3D LiDAR data is a core technology for autonomous driving and other robotics applications. Although LiDAR data is acquired over time, most of the 3D object detection algorithms propose object bounding boxes independently for each frame and neglect the useful information available in the temporal domain. To address this problem, in this paper we propose a sparse LSTM-based multi-frame 3d object detection algorithm. We use a U-Net style 3D sparse convolution network to extract features for each frame's LiDAR point-cloud. These features are fed to the LSTM module together with the hidden and memory features from last frame to predict the 3d objects in the current frame as well as hidden and memory features that are passed to the next frame. Experiments on the Waymo Open Dataset show that our algorithm outperforms the traditional frame by frame approach by 7.5% mAP@0.7 and other multi-frame approaches by 1.2% while using less memory and computation per frame. To the best of our knowledge, this is the first work to use an LSTM for 3D object detection in sparse point clouds.

연구 동기 및 목표

• 기존의 단일 프레임 기반 접근 방식에서 자주 忽시되는 순차적 프레임 간 시간 정보를 활용하여 LiDAR 포인트 클라우드에서 3D 객체 검출 성능을 향상시키는 것.
• 모든 과거 포인트 클라우드를 병합하는 다중 프레임 방법의 비효율성을 해결하여, 관련 정보를 걸러내지 않는 채널에서 메모리 및 계산 자원을 증가시키는 문제를 해결하는 것.
• 이전 프레임에서 고신뢰도 객체 관련 특징만 유지함으로써 메모리 효율성과 계산 경량화를 달성하는 프레임워크를 설계하는 것.
• 희박한 포인트 클라우드에서 공간-시간 특징 집약을 위한 새로운 메커니즘으로 3D 포인트 기반 메모리 및 히든 상태를 갖춘 LSTM의 활용을 탐색하는 것.
• 실시간 추론 능력을 유지하면서 Waymo Open Dataset에서 기존의 단일 프레임 및 다중 프레임 검출 기준선을 초월하는 것.

제안 방법

• 모든 LiDAR 포인트 클라우드 프레임에서 특징을 추출하기 위해 유니넷 스타일의 희박한 3D 컨볼루션 네트워크(SparseConv)를 사용하며, 이는 이전 프레임의 메모리 및 히든 상태 특징과 공통 박스화(co-voxelization)된다.
• LSTM 모듈은 현재 프레임의 특징과 이전 프레임의 히든 및 메모리 상태를 결합하여 다음 프레임에 대한 업데이트된 히든 및 메모리 상태를 생성한다.
• 메모리 및 히든 상태는 고객체성 점수를 가진 3D 포인트와 연관된 64차원 특징으로 표현되며, 이는 공간적 주의 집중과 효율적인 메모리 사용을 가능하게 한다.
• 프레임당 상위 30,000개의 고성능 히든 및 메모리 특징 포인트만 유지되어 메모리 사용량을 줄이고 관련 시간적 맥락을 유지한다.
• 예측된 경계 상자들은 히든 특징을 기반으로 3D 검출 헤드를 통해 생성되며, 이후 그래프 컨볼루션과 비최대 억제(NMS)를 통해 제안을 정밀화한다.
• 모델은 순차적 LiDAR 스캔에서 엔드 투 엔드로 훈련되며, 이동성(ego-motion)을 사용하여 메모리 및 히든 상태를 프레임 간 변환하여 공간 일관성을 유지한다.

실험 결과

연구 질문

• RQ1 LSTM 기반 아키텍처가 단일 프레임 추론을 초월하여 3D LiDAR 포인트 클라우드에서 시간적 의존성을 효과적으로 모델링할 수 있는가?
• RQ2 기존의 다중 프레임 특징 병합 방식에 비해 3D 포인트 기반 메모리 및 히든 상태를 사용할 경우 정확도 및 효율성 측면에서 어떤 차이가 있는가?
• RQ3 시간적 맥락의 통합이 대규모 3D 검출 벤치마크에서 거짓 음성(false negatives)을 얼마나 줄이고 mAP 향상에 기여하는가?
• RQ4 메모리 효율적이고 희박한 LSTM 메커니즘은 실시간 성능을 유지하면서도 단일 프레임 및 다중 프레임 병합 기준선을 모두 초월할 수 있는가?
• RQ5 입력 프레임 수가 검출 성능에 어떤 영향을 미치며, 시간적 모델링에 최적의 시퀀스 길이는 얼마인가?

주요 결과

• 4개 프레임을 사용할 경우 제안된 LSTM 모델은 Waymo Open Dataset에서 63.6% mAP@0.7을 달성하여 단일 프레임 기준 대비 7.5% 향상된 성능을 보였다.
• 강력한 다중 프레임 병합 기준선 대비 1.2% mAP 향상을 달성하여 더 나은 특징 활용 및 일반화 능력을 입증했다.
• 7개 프레임을 사용한 LSTM 모델은 배치 크기가 1일 때 63.3% mAP를 기록하여 더 긴 시간적 시퀀스가 검출 정확도를 추가로 향상시킬 수 있음을 보였다.
• 실시간 추론 능력을 유지하며, Titan V GPU에서 단일 프레임 특징 추출 시간이 19ms로 10Hz LiDAR 입력의 100ms 예산 이내에 머물렀다.
• 프레임당 30,000개의 고성능 특징 포인트만 유지함으로써 배경 포인트의 중복 처리를 줄여 메모리 효율성이 크게 향상되었다.
• 클래식한 히úng거리안 할당과 칼만 필터링을 사용한 트래킹 기준선 대비 6.8% mAP 향상을 달성하여 향상된 시간적 추론 능력을 입증했다.