[논문 리뷰] Self-Supervised Pillar Motion Learning for Autonomous Driving

Chenxu Luo, Xiaodong Yang외 1명|arXiv (Cornell University)|2021. 04. 18.

Advanced Vision and Imaging참고 문헌 44인용 수 5

한 줄 요약

이 논문은 쌍체 카메라 영상에서 유 free supervision 신호와 구조적 일관성을 활용하여 LiDAR 포인트 클라우드에서 클래스에 관계없는 피라미드 운동을 추정하는 자기지도 학습 프레임워크를 제안한다. 확률적 운동 마스킹과 교차 센서 정규화를 활용함으로써, 제한된 지도 학습 환경에서 미세조정을 거친 결과, 저자료 환경에서 완전히 지도 학습된 베이스라인을 능가하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Autonomous driving can benefit from motion behavior comprehension when interacting with diverse traffic participants in highly dynamic environments. Recently, there has been a growing interest in estimating class-agnostic motion directly from point clouds. Current motion estimation methods usually require vast amount of annotated training data from self-driving scenes. However, manually labeling point clouds is notoriously difficult, error-prone and time-consuming. In this paper, we seek to answer the research question of whether the abundant unlabeled data collections can be utilized for accurate and efficient motion learning. To this end, we propose a learning framework that leverages free supervisory signals from point clouds and paired camera images to estimate motion purely via self-supervision. Our model involves a point cloud based structural consistency augmented with probabilistic motion masking as well as a cross-sensor motion regularization to realize the desired self-supervision. Experiments reveal that our approach performs competitively to supervised methods, and achieves the state-of-the-art result when combining our self-supervised model with supervised fine-tuning.

연구 동기 및 목표

• 자율주행을 위한 운동 추정 모델 학습에서 높은 주석 비용 문제를 해결하기 위해.
• 객체 카테고리 레이블에 의존하지 않고 오픈 세트 환경에서 클래스에 관계없는 운동 추정을 가능하게 하기 위해.
• 비용이 많이 드는 인간 주석이 필요한 데이터셋에 대한 의존도를 줄이기 위해 풍부한 비주얼되지 않은 LiDAR 및 카메라 데이터를 자기지도 학습에 활용하기 위해.
• 새로운 비행체 시점(BEV) 피라미드 표현을 사용하여 실시간이고 효율적인 운동 추정 프레임워크를 개발하기 위해.
• 교차 센서 및 구조적 일관성 감독을 통해 자동차 운동과 배경 노이즈에 대한 강건성을 향상시키기 위해.

제안 방법

• LiDAR 포인트 클라우드를 수직 피라미드로 정렬하고, 각 피라미드의 2차원 이동 벡터를 운동 표현으로 예측한다.
• 희박한 포인트 클라우드에서도 조밀한 포인트 대응이 불안정할 수 있으나, 연속적인 스위프트 사이에서 피라미드 기하학이 안정되어 있음을 가정하여 구조적 일관성을 강제한다.
• 쌍체 카메라 영상에서 역투영된 광학 흐름을 사용하여 확률적 운동 마스킹을 적용함으로써 정적 또는 배경 영역에서의 잘못된 양성 예측을 억제한다.
• 교차 센서 운동 정규화는 카메라 광학 흐름을 활용해 LiDAR 공간 내에서 피라미드 운동 학습을 유도하고 정규화한다.
• 구조적 일관성, 부드러움, 정규화 항목을 포함한 다중 작업 손실을 통해 모델을 종합적으로 최적화한다.
• 추론 단계에서는 카메라 구성 요소를 제거하여 오직 LiDAR 데이터만을 사용해 실시간 배포가 가능하다.

실험 결과

연구 질문

• RQ1 인간 주석이 없는 운동 레이블이 없는 상태에서 비주얼되지 않은 LiDAR 및 카메라 데이터를 효과적으로 활용하여 정확한 운동 추정 모델을 훈련시킬 수 있는가?
• RQ2 포인트 대응이 신뢰할 수 없을 정도로 희박한 LiDAR 포인트 클라우드에서 구조적 일관성을 어떻게 강제할 수 있는가?
• RQ3 쌍체 카메라에서 유도된 광학 흐름이 자기지도 학습 기반 LiDAR 운동 추정에 무료 지도 신호로 얼마나 효과적으로 기능할 수 있는가?
• RQ4 확률적 운동 마스킹이 자동차 운동과 배경 움직임 아티팩트에 대한 강건성을 향상시키는가?
• RQ5 제한된 미세조정과 함께 자기지도 사전학습이 다운스트림 성능을 상당히 향상시킬 수 있는가?

주요 결과

• 자기지도 학습 모델은 nuScenes 데이터셋에서 사전학습 및 미세조정을 거친 결과 평균 오차 0.0247을 기록하며, 완전히 랜덤 초기화된 지도 학습 모델을 능가한다.
• 학습 데이터의 20%만을 사용할 경우, 자기지도 학습 모델은 평균 오차 0.0394를 기록하며, 랜덤 초기화 모델의 0.0473보다 우수한 성능을 보였다.
• 확률적 운동 마스킹을 적용하지 않은 모델은 벽이나 식생과 같은 배경 영역에서 유의미하게 더 많은 잘못된 양성 운동 예측을 생성한다.
• 제거 실험 결과, 부드러움 손실는 영향이 미미한 것으로 나타났으며, 피라미드 표현 자체가 이미 공간적 부드러움을 강제하기 때문이다.
• 완전한 LiDAR 스위프트를 대상으로 실시간 추론를 구현하여 자율주행 차량에의 배포에 적합함을 입증했다.
• 모델은 다양한 속도 구간에서 잘 일반화되며, 가장 높은 속도 그룹(속도 > 5 m/s)에서 가장 낮은 오차(0.0247)를 기록했다.