[논문 리뷰] Re-Evaluating LiDAR Scene Flow for Autonomous Driving

Nathaniel Chodosh, Deva Ramanan외 1명|arXiv (Cornell University)|2023. 04. 04.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 자기지도 학습 기반 LiDAR 시 scene flow 벤치마크를 재평가하며, stereoKITTI와 같은 합성 데이터셋에서 상위 성능을 내는 학습 기반 방법들이 실제 환경 데이터에서는 성능이 떨어지는 것으로 드러났다. 본 연구는 자동차 운동 추정, 지면 제거, 테스트 시점 최적화를 위한 학습 불필요 기반 방법(이를 위해 ICP를 활용)을 제안하며, Waymo, Argoverse, NuScenes를 포함한 실제 환경 데이터셋에서 평가된 모든 방법들을 능가하는 성능을 확보하였다.

ABSTRACT

Popular benchmarks for self-supervised LiDAR scene flow (stereoKITTI, and FlyingThings3D) have unrealistic rates of dynamic motion, unrealistic correspondences, and unrealistic sampling patterns. As a result, progress on these benchmarks is misleading and may cause researchers to focus on the wrong problems. We evaluate a suite of top methods on a suite of real-world datasets (Argoverse 2.0, Waymo, and NuScenes) and report several conclusions. First, we find that performance on stereoKITTI is negatively correlated with performance on real-world data. Second, we find that one of this task's key components -- removing the dominant ego-motion -- is better solved by classic ICP than any tested method. Finally, we show that despite the emphasis placed on learning, most performance gains are caused by pre- and post-processing steps: piecewise-rigid refinement and ground removal. We demonstrate this through a baseline method that combines these processing steps with a learning-free test-time flow optimization. This baseline outperforms every evaluated method.

연구 동기 및 목표

• 자주 사용되는 자기지도 학습 기반 LiDAR scene flow 벤치마크(예: stereoKITTI, FlyingThings3D)가 실제 자율주행 연구를 올바르게 이끌 수 있는지 검토하기 위해.
• 현행 벤치마크 설계의 결함—특히 비현실적인 동적 운동 패턴, 인위적인 대응 관계, 비대칭적인 동적 대 정적 비율—이 성능 평가를 왜곡하는 방식을 규명하기 위해.
• 최신 학습 기반 scene flow 방법들을 실제 환경 데이터셋(Argoverse 2.0, Waymo, NuScenes)에 적용하여 실제 환경에서의 일반화 능력을 평가하기 위해.
• 자기지도 학습 기반 구성 요소보다 자동차 운동 추정(예: ICP), 지면 제거, 조각별 강성 보정 등의 사전 및 사후 처리 단계가 성능 향상에 더 큰 기여를 한다는 것을 입증하기 위해.
• 학습 데이터가 전혀 필요 없는 데이터 없는 기반 방법을 제안하고 검증하며, 이는 학습 데이터 없이도 최신 기술 수준의 성능을 달성한다.

제안 방법

• 자신의 운동 추정을 위해 반복 최소 거리(Iterative Closest Point, ICP)를 사용하며, 실제 환경 데이터에서 모든 학습 기반 자동차 운동 추정 모델보다 뛰어난 성능을 보임을 입증함.
• 정적 지면 점을 식별하고 제거하기 위해 학습된 지면 세그멘테이션 모델을 적용하여 노이즈를 감소시키고 정확도를 향상시킴.
• 추정된 흐름에 조각별 강성 제약 조건을 적용하는 테스트 시점 최적화 전략을 구현하여, 학습 없이 추론 후 결과를 정밀하게 보정함.
• ICP 기반 자동차 운동 보정, 지면 제거, 조각별 강성 보정을 하나의 기반 파이프라인으로 통합하여 학습 데이터가 전혀 필요 없는 기반 방법을 제안함.
• 높이 맵 추정을 위해 좌표 네트워크를 활용하여 지면 세그멘테이션 정확도와 흐름 추정 과정의 공간 일관성을 향상시킴.
• 동적 점의 최종 오차(EPE)를 주요 평가 지표로 사용하여, 기반 방법과 10개 이상의 최신 자기지도 학습 기반 방법을 실제 환경 데이터셋에서 평가함.

Figure 1 : Recent self-supervised scene flow methods [ 60 , 30 , 26 , 17 ] typically focus on performance on stereoKITTI [ 35 ] . We call attention to several problematic aspects of its semi-synthetic construction. When evaluated on real-world datasets (Waymo, Argoverse, NuScenes) we find a negative

실험 결과

연구 질문

• RQ1 stereoKITTI와 같은 합성 벤치마크에서의 높은 성능이 Waymo, Argoverse, NuScenes와 같은 실제 환경 LiDAR scene flow 데이터셋에서도 뛰어난 성능을 보이는가?
• RQ2 기존의 최신 자기지도 학습 기반 scene flow 모델보다 학습이 불필요한 방법(고전적 최적화 및 사전/사후 처리에 기반)이 실제 환경 데이터에서 더 뛰어난 성능을 낼 수 있는가?
• RQ3 사전 처리(예: 지면 제거)와 사후 처리(예: 조각별 강성 보정)가 학습 기반 구성 요소보다 성능 향상에 얼마나 기여하는가?
• RQ4 현재의 벤치마크인 stereoKITTI와 FlyingThings3D는 왜 자율주행 환경에서 LiDAR scene flow의 진정한 과제를 반영하지 못하는가?
• RQ5 최근의 학습 기반 scene flow 모델의 성능은 아키텍처적 혁신 때문인가, 아니면 효과적인 고전적 기하학적 및 최적화 기법의 활용 때문인가?

주요 결과

• stereoKITTI에서의 성능은 실제 환경 데이터셋에서의 성능와 음의 상관관계를 보이며, stereoKITTI에서 최고 성능을 낸 방법들이 Argoverse, Waymo, NuScenes에서 일관되게 성능이 열 劣하다.
• ICP는 실제 환경 데이터에서 모든 테스트된 학습 기반 자동차 운동 추정 방법보다 뛰어난 성능을 보이며, 자동차 운동 추정을 위해 특별히 설계된 방법들조차도 뒤지게 된다.
• 제안된 학습 불필요 기반 방법—ICP, 지면 제거, 테스트 시점 조각별 강성 최적화를 조합한 것—은 모든 평가된 자기지도 학습 기반 방법보다 실제 환경 데이터셋에서 뛰어난 성능을 보였다.
• NuScenes 데이터셋에서 기반 방법은 동적 점의 최종 오차(EPE) 0.158 m를 기록하였으며, 이는 최신 자기지도 학습 기반 방법인 SLIM의 최고 보고 성능 0.172 m를 초월하였다.
• lidarKITTI 벤치마크에서 기반 방법은 자기지도 및 약한 지도 학습 기반 방법 중 유일하게 뒤진 방법을 제외하고는 모든 방법을 능가하여, 학습 데이터 없이도 뛰어난 일반화 능력을 입증하였다.
• 지면 세그멘테이션은 NuScenes에서 99.3%의 정확도, Waymo에서 99.4%의 정확도를 기록하였으며, 동적 점 중 1% 미만이 잘못 지면으로 분류되어 비평탄한 지형 환경에서도 뛰어난 강건성을 확보하였다.

Figure 2 : The correlation between performance on stereoKITTI and performance on real datasets as a function of how much those datasets violate the one-to-one correspondence assumption present in stereoKITTI. The more a dataset violates this assumption (higher chamfer distance due to sparser pointcl