[論文レビュー] LEAR: Learning Edge-Aware Representations for Event-to-LiDAR Localization

Kuangyi Chen, Jun Zhang (48506)+3 more|arXiv (Cornell University)|Mar 2, 2026

Robotics and Sensor-Based Localization被引用数 0

ひとこと要約

LEAR はクロスタスク融合と反復的改良によりエッジ検出と密なイベント–深度フローを同時学習し、LiDAR マップとイベントを整合させることで robust な 6-DoF ローカライゼーションを実現し、従来法を上回る。

ABSTRACT

Event cameras offer high-temporal-resolution sensing that remains reliable under high-speed motion and challenging lighting, making them promising for localization from LiDAR point clouds in GPS-denied and visually degraded environments. However, aligning sparse, asynchronous events with dense LiDAR maps is fundamentally ill-posed, as direct correspondence estimation suffers from modality gaps. We propose LEAR, a dual-task learning framework that jointly estimates edge structures and dense event-depth flow fields to bridge the sensing-modality divide. Instead of treating edges as a post-hoc aid, LEAR couples them with flow estimation through a cross-modal fusion mechanism that injects modality-invariant geometric cues into the motion representation, and an iterative refinement strategy that enforces mutual consistency between the two tasks over multiple update steps. This synergy produces edge-aware, depth-aligned flow fields that enable more robust and accurate pose recovery via Perspective-n-Point (PnP) solvers. On several popular and challenging datasets, LEAR achieves superior performance over the best prior method. The source code, trained models, and demo videos are made publicly available online.

研究の動機と目的

• 稀薄なイベントと密な LiDAR マップとの間で堅牢なクロスモーダルローカライゼーションを動機づける。
• イベント–深度フロー推定を支えるエッジ認識表現の学習によってモダリティ間のギャップを埋める。
• エッジ検出とフロー推定を相互強化するデュアルタスクフレームワークを構築する。
• 従来法よりも多様なデータセットでポーズ精度を改善する。

提案手法

• 深度からエッリジマップと密なイベント–深度フローの両方を同時に予測するデュアルタスクネットワークを構築する。
• Cross-task Feature Fusion (CFF) を導入し、モダリティ不変のエッジ手がかりをフロー推定へ注入する。
• Iterative Feature Refinement (IFR) を用いてエッジとフロー特徴を相互整合性を保ちながら繰り返し改良する。
• 最終フロー予測から RANSAC ベースの PnP ソルバーによる 2D-3D ポーズ回復を行う。
• クロスモーダルの整合性を促すよう、フロー損失とエッジ損失を組み合わせた加重損失で学習する。

実験結果

リサーチクエスチョン

• RQ1 エッジ検出とフロー推定を jointly 行うことはイベントから LiDAR へのクロスモーダルなローカライゼーションを改善するか。
• RQ2 クロスタスク融合と反復改良はエッジ認識に基づく深度揃いのフロー場を生み出し、ポア回復を高めるか。
• RQ3 LEAR は異なる質感・照明のデータセットで最先端の EVLoc や RGB ベースの I2D-Loc と比べてどのように性能するか。
• RQ4 予測エッジでデプスをマスクするのと、直接特徴をフュージョンするのとでローカライゼーション精度にどのような影響があるか。

主な発見

Dataset	Test Scene	Time	I2D-Loc [3]	EVLoc [4]	Ours
M3ED	falcon_indoor_flight	-	-	8.11/0.97	6.85/0.74
M3ED	spot_indoor_building_loop	-	-	12.88/2.07	10.94/1.63
M3ED	falcon_outdoor_day_penno_parking	-	-	25.11/1.32	22.40/1.18
M3ED	falcon_forest_into_forest	-	-	20.46/1.87	19.35/1.84
M3ED	spot_outdoor_day_penno_short_loop	-	-	17.89/0.88	14.37/0.74
M3ED	spot_forest_road	-	-	13.55/0.60	12.96/0.57
M3ED	car_urban_day_penno	-	-	14.15/0.60	11.88/0.56
M3ED	car_forest_into_ponds	-	-	19.76/0.86	16.23/0.75
M3ED	spot_outdoor_night_penno_short_loop	-	-	34.85/1.71	24.97/1.04
M3ED	car_urban_night_penno	-	-	20.84/0.72	19.15/0.87
DSEC	interlaken_00	dawn/dusk	-	7.11/0.30	5.56/0.25
DSEC	thun_00	dawn/dusk	-	8.26/0.42	8.08/0.41
Zurich	zurich_city_00	dawn/dusk	-	7.94/0.37	6.78/0.34
Zurich	zurich_city_01	dawn/dusk	-	7.63/0.30	6.15/0.28
Zurich	zurich_city_02	dawn/dusk	-	7.93/0.31	6.68/0.27
Zurich	zurich_city_03	night	-	8.79/0.61	8.14/0.51
Zurich	zurich_city_04	dawn/dusk	-	7.49/0.30	6.16/0.26
Zurich	zurich_city_05	day	-	6.42/0.28	5.36/0.24
Zurich	zurich_city_06	day	-	8.12/0.39	6.98/0.37
Zurich	zurich_city_07	day	-	7.27/0.34	6.25/0.32
Zurich	zurich_city_08	dawn/dusk	-	6.62/0.27	5.81/0.26
Zurich	zurich_city_09	night	-	6.38/0.29	5.92/0.28
Zurich	zurich_city_10	night	-	8.37/0.35	7.35/0.34
Zurich	zurich_city_11	dawn/dusk	-	6.14/0.26	5.21/0.23

• LEAR は評価シーケンスで EVLoc を一貫して上回り、M3ED および DSEC で平行移動と回転誤差を改善した。
• M3ED の屋内シーンでは、LEAR は EVLoc と比較して平行移動・回転誤差を約 15–25% 減少させた。
• DSEC の走行シーンでは、LEAR は EVLoc より平行移動誤差を最大 36%、回転誤差を最大 29%低減した。
• LEAR は I2D-Loc をも上回り、平行移動誤差を最大 61%、回転誤差を最大 44%低減した。
• アブレーションでは CFF の追加が直接マスキングよりローカライゼーションを改善し、IFR の導入でさらに改善が得られた。
• エッジ予測は IFR による反復改良でより鋭く詳細になり、エッジとフローの分岐の相互強化を示した。