[논문 리뷰] LiDAR-based 4D Occupancy Completion and Forecasting

Xinhao Liu, Moonjun Gong외 5명|arXiv (Cornell University)|2023. 10. 17.

Advanced Neural Network Applications인용 수 7

한 줄 요약

이 논문은 LiDAR 기반 4D 오염도 완성 및 예측(OCF)을 도입하며, 희소한 데이터에서 조밀한 재구성, 부분적인 정보에서 완전한 환경 복원, 3D에서 4D로의 시간 예측을 종합적으로 다루는 통합된 작업을 제안한다. 저자들은 공개된 LiDAR 데이터셋에서 유래한 대규모 데이터셋인 OCFBench를 구축하였으며, 별도의 완성 또는 예측 작업을 수행하는 것보다 통합 모델링이 성능을 향상시킴을 입증하였다. 대규모 훈련에도 불구하고 도메인 간 일반화 성능은 중간 정도로는 감소하는 경향을 보였다.

ABSTRACT

Scene completion and forecasting are two popular perception problems in research for mobile agents like autonomous vehicles. Existing approaches treat the two problems in isolation, resulting in a separate perception of the two aspects. In this paper, we introduce a novel LiDAR perception task of Occupancy Completion and Forecasting (OCF) in the context of autonomous driving to unify these aspects into a cohesive framework. This task requires new algorithms to address three challenges altogether: (1) sparse-to-dense reconstruction, (2) partial-to-complete hallucination, and (3) 3D-to-4D prediction. To enable supervision and evaluation, we curate a large-scale dataset termed OCFBench from public autonomous driving datasets. We analyze the performance of closely related existing baseline models and our own ones on our dataset. We envision that this research will inspire and call for further investigation in this evolving and crucial area of 4D perception. Our code for data curation and baseline implementation is available at https://github.com/ai4ce/Occ4cast.

연구 동기 및 목표

• 자율주행을 위한 통합된 4D 인식 작업으로서 장면 완성과 오염도 예측을 하나의 작업으로 통합한다.
• 세 가지 핵심 과제를 해결한다: 희소에서 조밀한 재구성, 부분적 정보에서 완전한 복원, 3D에서 4D로의 예측.
• 지속적인 지도 데이터를 제공하기 위해 지도된 대규모 데이터셋(OCFBench)을 제공한다.
• 기준 모델을 평가하고 OCF 작업의 실현 가능성과 난이도를 입증한다.
• LiDAR를 활용한 통합된 4D 장면 이해 연구를 향한 향후 연구를 자극한다.

제안 방법

• 공개된 자율주행 데이터셋(Lyft, Argoverse, ApolloScape)에서 유래한 OCFBench를 구축하기 위해, 여러 LiDAR 스위프트를 집계하고 볼록화하여 조밀하고 시간적으로 일관된 지도 데이터를 확보한다.
• 자기 운동 영향을 줄이기 위해 좌표 통일 기법을 적용하여, 모델이 자동차의 움직임이 아닌 환경의 동적 변화에 집중할 수 있도록 한다.
• 희소한 LiDAR 스위프트 시퀀스(t=-T에서 t=0까지)를 입력으로 받아, 오일러 기반의 볼록체 표현 방식으로 t=0에서 t=T까지의 조밀하고 완성된 오염도 격자 예측을 수행하는 다단계 프레임워크를 설계한다.
• 단일 프레임 프록시에 의존하는 것 대신, 여러 스위프트를 집계함으로써 깊이 렌더링 편향을 피하는 방식으로 볼록화된 포인트 클라우드를 지도 데이터로 사용한다.
• 입력/출력 시퀀스 길이와 아키텍처 복잡도가 다른 PCF, ConvLSTM, Conv3D 기반의 기준 모델을 구현한다.
• 추론 시 적응 및 도메인 간 평가를 적용하여, 센서 설정과 환경 간의 일반화 능력을 평가한다.

실험 결과

연구 질문

• RQ1 기존의 별도의 접근 방식보다 통합된 4D 인식 프레임워크가 장면 완성과 오염도 예측을 더 효과적으로 동시에 모델링할 수 있는가?
• RQ2 대규모 훈련에도 불구하고, 한 센서 설정(Lyft)에서 다른 센서 설정(Argoverse 또는 ApolloScape)으로 전이할 경우 성능이 얼마나 떨어지는가?
• RQ3 4D 오염도 예측에서 성능(mIoU, mAP)과 계산 비용(MACs, 메모리, 추론 시간) 사이의 상호 교환 관계는 어떠한가?
• RQ4 기존의 3D 장면 완성 또는 3D 예측 모델을 아키텍처 재설계 없이 OCF 작업에 얼마나 잘 적응시킬 수 있는가?
• RQ5 센서 설정의 변동성과 환경의 복잡성 변화에 대해 OCF 작업 정의는 얼마나 강인한가?

주요 결과

• 기존 모델을 확장했을 때 성능 저하가 나타나는 것으로 볼 때, OCF 작업은 별도의 SSC나 예측 작업보다 훨씬 높은 복잡성을 지닌다.
• 도메인 간 일반화 성능 저하가 뚜렷하게 나타났다: PCF의 mIoU는 OCFBench-Argoverse에서 54.05에서 45.75로, OCFBench-ApolloScape에서는 59.61에서 50.19로 감소하였으며, 이는 OCFBench-Lyft 데이터가 Argoverse의 두 배, ApolloScape의 네 배에 달하는 대규모 데이터를 보유하고 있음에도 불구하고 그렇다.
• Conv3D 아키텍처는 가장 높은 mIoU와 mAP 성능을 기록했지만, 계산 비용이 가장 높았으며, 6.51 TFLOPs의 MACs, 34M 파라미터, 23GB의 메모리 사용량을 기록했다.
• ConvLSTM은 성능과 효율성 사이의 균형을 잘 유지하며, 입력 시퀀스 길이에 관계없이 일정한 파라미터 수를 유지하므로 실시간 배포에 더 적합하다.
• PCF 기준 모델은 도메인 간 일반화 능력은 뛰어나지만 여전히 심각한 성능 저하를 겪고 있어, 도메인 불변 표현이 필요함을 시사한다.
• 다양한 센서 설정 간 성능은 거의 동일하게 유지되며, 적절한 지도 학습이 이루어진다면 OCF 작업은 센서 변동성에 대해 강인함을 시사하지만, 도메인 간 격차는 여전히 핵심 과제이다.