[논문 리뷰] Learning-on-the-Drive: Self-supervised Adaptation of Visual Offroad Traversability Models

Eric Chen, Cherie Ho외 3명|arXiv (Cornell University)|2023. 06. 27.

Robotics and Sensor-Based Localization인용 수 6

한 줄 요약

이 논문은 시각적 이앙 가능성 추정을 향상시키기 위해 근거리 레이저 레인지파인더(LoDAR) 스캔을 활용해 실시간으로 고밀도, 장거리, 미세한 해상도의 픽셀 단위 레이블을 생성하는 자기지도 학습형 온라인 적응 프레임워크 ALTER를 제안한다. 이러한 자기 레이블링 데이터로 지속적으로 미세조정하는 방식으로 ALTER는 새로운 환경에서 레이저 레인지파인더 전용 추정 대비 최대 52.5% 향상, 비적응형 시각 기반 기준 대비 38.1% 향상된 성능을 달성하며, 온라인 학습 시간이 1분 미만임에도 불구하고 성능을 확보한다.

ABSTRACT

Autonomous offroad driving is essential for applications like emergency rescue, military operations, and agriculture. Despite progress, systems struggle with high-speed vehicles exceeding 10m/s due to the need for accurate long-range (> 50m) perception for safe navigation. Current approaches are limited by sensor constraints; LiDAR-based methods offer precise short-range data but are noisy beyond 30m, while visual models provide dense long-range measurements but falter with unseen scenarios. To overcome these issues, we introduce ALTER, a learning-on-the-drive perception framework that leverages both sensor types. ALTER uses a self-supervised visual model to learn and adapt from near-range LiDAR measurements, improving long-range prediction in new environments without manual labeling. It also includes a model selection module for better sensor failure response and adaptability to known environments. Testing in two real-world settings showed on average 43.4% better traversability prediction than LiDAR-only and 164% over non-adaptive state-of-the-art (SOTA) visual semantic methods after 45 seconds of online learning.

연구 동기 및 목표

• 시각 모델이 분포 이탈로 인해 실패하는 새로운, 미리 보지 않은 이앙 가능 환경에서 정확한 장거리 이앙 가능성 추정 문제를 해결하기 위해.
• 30m 이상에서 노이즈가 심해지고 희소한, 굵은 해상도의 추정만 제공하는 레이저 레인지파인더의 한계를 극복하기 위해.
• 장거리에서의 미세한 해상도 예측(예: 길 vs. 높은 풀밭 vs. 장애물)을 가능하게 하기 위해 장거리에서 고밀도 시각 특징을 활용한 연속적인 이앙 가능성 예측을 가능하게 하기 위해.
• 사람의 레이블링 없이 춴적된 레이저 레인지파인더 데이터를 활용해 실시간으로 시각 모델을 자기지도 학습형 온라인 학습 프레임워크로 적응시키기 위해.
• 연속적으로 새로운 환경에 적응할 때도 안정성과 치명적 기억 상실을 방지하기 위해.

제안 방법

• 시간이 지남에 따라 근거리 레이저 레인지파인더 스캔을 축적하여 고정밀도, 장거리 3D 포인트 클라우드 지ap을 구축함으로써 단일 스캔의 한계를 초월해 레이블의 밀도와 정확도를 향상시킴.
• 축적된 레이저 레인지파인더 지도에서 미세한 3D 이앙 가능성 특징(예: 지형 유형, 위험 수준 등)을 추출하여 연속적이고 고밀도인 3D 레이블을 생성함.
• 3D 이앙 가능성 레이블을 해당 2D 이미지에 투영하여 시각 모델에 대한 고밀도, 픽셀 단위, 장거리 지도 신호를 생성함.
• 최신 자기 레이블링 데이터를 실시간으로 사용해 온라인 자기지도 학습 방식으로 시각 기반 이앙 가능성 모델을 지속적으로 미세조정함으로써 새로운 환경에 적응함.
• 온라인 적응 중 일반화 능력과 수렴 속도 향상을 위해 사전 학습된 ImageNet 기반 인코더를 시각 기반 백본으로 활용함.
• 이미 학습된 이후 새로운 환경에 적응할 때 치명적 기억 상실을 완화하기 위해 탄성 가중치 통합(Elastic Weight Consolidation, EWC) 손실을 적용함.

Figure 1 : We present ALTER , an offroad perception framework that adapts on-the-drive to provide accurate long-range traversability prediction. We validate our adaptive method on two real-world offroad scenarios where it is able to differentiate between key terrains (trail, grass, obstacles) at a f

실험 결과

연구 질문

• RQ1 자기지도 학습형 온라인 적응을 통해 시각 기반 이앙 가능성 모델이 새로운 이앙 가능 환경에서 장거리 예측 정확도를 크게 향상시킬 수 있는가?
• RQ2 누적된 레이저 레인지파인더 스캔은 단일 스캔 레이저 레인지파인더에 비해 3D 공간에서 더 정확하고 고밀도로 미세한 해상도의 이앙 가능성 레이블링을 가능하게 하는가?
• RQ3 레이저 레인지파인더에서 유도된 자기 레이블링 데이터를 활용한 온라인 학습은 비적응형 기준 대비 시각 모델의 일반화 능력과 강건성을 향상시키는가?
• RQ4 새로운 환경에 적응한 후 이전에 학습한 환경에서의 성능 유지가 가능한가? 그리고 EWC는 치명적 기억 상실을 방지하는 데 얼마나 효과적인가?
• RQ5 모델이 새로운 지형 유형에서 신뢰할 수 있는, 미세한 해상도의 이앙 가능성 추정을 달성하기 위해 필요한 최소 적응 시간은 얼마인가?

주요 결과

• ALTER는 새로운 이앙 가능 환경에서 레이저 레인지파인더 전용 추정 대비 이앙 가능성 추정 정확도를 최대 52.5% 향상시킴.
• 비적응형 시각 기반 기준 대비 신규 환경에서 성능을 38.1% 향상시켜 온라인 적응의 유용성을 입증함.
• 레이저 레인지파인더 스캔을 축적해 레이블링을 수행함으로써 언덕 환경의 평균 MSE 손실은 2.81로 감소하고, 숲 환경의 경우 4.83로 감소함. 이는 축적 없이 수행할 경우 각각 6.85와 7.93로 상대적으로 높은 손실을 기록함.
• ImageNet에서 사전 학습한 시각 인코더를 사용할 경우 무작위 초기화에서 학습하는 것에 비해 MSE를 16.5% 감소시켜, 온라인 적응 과정에서의 중요성을 입증함.
• 새로운 환경에 적응한 후에도 이전에 학습한 환경에서 뛰어난 성능 유지를 유지하며, EWC를 적용함으로써 기억 상실을 줄여 평균 성능을 추가로 향상시킴.
• 단지 1분의 데이터 수집 및 학습 시간만으로도 복잡하고 새로운 지형에서 고품질의, 미세한 해상도의 장거리 이앙 가능성 예측을 달성함.

Figure 2 : ALTER framework: Our adaptive approach estimates traversability from current images using models trained online with new LiDAR data. Online Labeling : We accumulate LiDAR scans and label in 3D their traversability costs given LIDAR features. The 3D labels are then projected onto the image