[論文レビュー] Learning-on-the-Drive: Self-supervised Adaptation of Visual Offroad Traversability Models

Eric Chen, Cherie Ho+3 more|arXiv (Cornell University)|Jun 27, 2023

Robotics and Sensor-Based Localization被引用数 6

ひとこと要約

本稿では、近距離LiDARスキャンを活用してリアルタイムで高密度で長距離にわたる細粒度のピクセル単位のラベルを生成することにより、視覚的オフロード走破可能性推定を向上させる自己教師ありオンライン適応フレームワークALTERを提案する。これらの自己ラベル付きデータで視覚モデルを継続的に微調整することにより、ALTERは、LiDARオンリーベースと比較して最大52.5%、非適応型視覚ベースラインと比較して38.1%の性能向上を達成し、1分未満のオンライン学習で新環境においても有効である。

ABSTRACT

Autonomous offroad driving is essential for applications like emergency rescue, military operations, and agriculture. Despite progress, systems struggle with high-speed vehicles exceeding 10m/s due to the need for accurate long-range (> 50m) perception for safe navigation. Current approaches are limited by sensor constraints; LiDAR-based methods offer precise short-range data but are noisy beyond 30m, while visual models provide dense long-range measurements but falter with unseen scenarios. To overcome these issues, we introduce ALTER, a learning-on-the-drive perception framework that leverages both sensor types. ALTER uses a self-supervised visual model to learn and adapt from near-range LiDAR measurements, improving long-range prediction in new environments without manual labeling. It also includes a model selection module for better sensor failure response and adaptability to known environments. Testing in two real-world settings showed on average 43.4% better traversability prediction than LiDAR-only and 164% over non-adaptive state-of-the-art (SOTA) visual semantic methods after 45 seconds of online learning.

研究の動機と目的

• 視覚モデルが分布シフトのため失敗する、未確認のオフロード環境における長距離走破可能性推定の正確性を高める挑戦に応えること。
• 30mを超える距離でノイズが多くなり、特に長距離で粗いスパarsな推定しか提供しないLiDARの限界を克服すること。
• 細粒度の連続的走破可能性予測（例：トレイル対高草対障害物）を、長距離での高密度な視覚特徴を用いて実現すること。
• 人為的アノテーションを一切用いずに、蓄積されたLiDARデータを用いて自己教師ありでオンライン学習可能なフレームワークを開発すること。
• 順次新しい環境に適応する際のロバスト性を確保し、深刻な忘却を防ぐこと。

提案手法

• 時間経過とともに近距離LiDARスキャンを蓄積し、1回のスキャンの限界を超えて高精度で長距離にわたる3次元点群地図を構築することで、ラベルの密度と正確性を向上させる。
• 蓄積されたLiDAR地図から、細粒度の3次元走破可能性特徴（例：地形タイプ、リスクレベル）を抽出し、連続的かつ高密度な3次元ラベルを生成する。
• 3次元走破可能性ラベルを対応する2次元画像に投影し、視覚モデルのための高密度でピクセル単位の長距離の監視信号を生成する。
• 最新の自己ラベル付きデータを用いて、オンラインで自己教師ありの方法で視覚ベースの走破可能性モデルを継続的に微調整し、新しい環境に適応させる。
• オンライン適応中の一般化性能と収束速度を向上させるために、事前学習済みのImageNetエンコーダーを視覚のバックボーンとして利用する。
• 以前の学習後に新しい環境に適応する際の深刻な忘却を緩和するために、Elastic Weight Consolidation（EWC）損失を適用する。

Figure 1 : We present ALTER , an offroad perception framework that adapts on-the-drive to provide accurate long-range traversability prediction. We validate our adaptive method on two real-world offroad scenarios where it is able to differentiate between key terrains (trail, grass, obstacles) at a f

実験結果

リサーチクエスチョン

• RQ1 自己教師ありでオンラインで適応する視覚的走破可能性モデルは、未確認のオフロード環境において長距離予測の正確性を顕著に向上させることができるか？
• RQ2 蓄積されたLiDARスキャンは、1回のスキャンに比べて、3次元空間における細粒度の走破可能性のラベリングをより正確で高密度に可能にするか？
• RQ3 LiDARからの自己ラベル付きデータを用いたオンライン学習は、非適応型ベースラインと比較して視覚モデルの一般化性能とロバスト性を向上させるか？
• RQ4 新しい環境に適応した後でも、以前に学習した環境での性能を維持できるか？また、EWCは深刻な忘却を防止するのにどの程度有効か？
• RQ5 モデルが新しい地形タイプにおいて信頼性の高い細粒度の走破可能性推定を達成するための最小適応時間はどのくらいか？

主な発見

• ALTERは、未確認のオフロード環境において、LiDARオンリーベースと比較して最大52.5%の走破可能性推定精度の向上を達成した。
• 新環境において非適応型視覚ベースラインと比較して38.1%の性能向上を示し、オンライン適応の利点を実証した。
• LiDARスキャンの蓄積を用いることで、ヒル環境では平均MSE損失が6.85から2.81に、フォレスト環境では7.93から4.83に低下した。
• ImageNetで事前学習した視覚エンコーダーを用いることで、ランダム初期化からの学習と比較してMSEが16.5%低下し、オンライン適応においてその重要性が示された。
• 新しい環境に適応した後も、以前に学習した環境での性能を強く維持できており、EWCを適用することで忘却がさらに低減され、平均性能が向上した。
• わずか1分間のデータ収集と学習で、複雑で未確認の地形においても、高品質で細粒度の長距離走破可能性予測が達成された。

Figure 2 : ALTER framework: Our adaptive approach estimates traversability from current images using models trained online with new LiDAR data. Online Labeling : We accumulate LiDAR scans and label in 3D their traversability costs given LIDAR features. The 3D labels are then projected onto the image