[論文レビュー] CoLC: Communication-Efficient Collaborative Perception with LiDAR Completion

Yushan Han, Hui Zhang+3 more|arXiv (Cornell University)|Feb 28, 2026

Advanced Neural Network Applications被引用数 0

ひとこと要約

CoLCは、選択的ポイント伝送による協調LiDAR認識、 egoエージェントでのLiDAR補完、異種モデル間の堅牢性を維持する整合性ガイド付き融合を提案する。

ABSTRACT

Collaborative perception empowers autonomous agents to share complementary information and overcome perception limitations. While early fusion offers more perceptual complementarity and is inherently robust to model heterogeneity, its high communication cost has limited its practical deployment, prompting most existing works to favor intermediate or late fusion. To address this, we propose a communication-efficient early Collaborative perception framework that incorporates LiDAR Completion to restore scene completeness under sparse transmission, dubbed as CoLC. Specifically, the CoLC integrates three complementary designs. First, each neighbor agent applies Foreground-Aware Point Sampling (FAPS) to selectively transmit informative points that retain essential structural and contextual cues under bandwidth constraints. The ego agent then employs Completion-Enhanced Early Fusion (CEEF) to reconstruct dense pillars from the received sparse inputs and adaptively fuse them with its own observations, thereby restoring spatial completeness. Finally, the Dense-Guided Dual Alignment (DGDA) strategy enforces semantic and geometric consistency between the enhanced and dense pillars during training, ensuring consistent and robust feature learning. Experiments on both simulated and real-world datasets demonstrate that CoLC achieves superior perception-communication trade-offs and remains robust under heterogeneous model settings. The code is available at https://github.com/CatOneTwo/CoLC.

研究の動機と目的

• 協調LiDAR認識における通信負荷を高い検出精度を保ちながら低減する。
• 選択的近傍点伝送とLiDAR補完を結合してシーンの detaljer を復元する方法を開発する。
• トレーニング中の整列制約を通じて異種エージェント間での堅牢な特徴学習を保証する。
• 姿勢誤差と遅延下でも効果的なモデル非依存の協調を実現する。
• シミュレーション環境と実データセットの両方で、認識-通信のトレードオフを卓越させることを実証する。

提案手法

• Foreground-Aware Point Sampling (FAPS) はサリエンシマップを用いて近傍点を前景と背景に分割し、前景には Foreground FPS、背景には Background Random Sampling を適用して効率的に伝送する。
• Completion-Enhanced Early Fusion (CEEF) はボイドベースの柱レベル LiDAR 補完モジュールを用いて受信した点から密な柱を再構成し、自己観測と適応的に融合させる。
• Dense-Guided Dual Alignment (DGDA) は訓練中に強化された早期融合柱と密な対応物との意味分布整合性および幾何的方向整合性を課す。
• LiDAR補完は柱ベースのベクトル量子化エンコーダ-デコーダと学習可能コードブックで実装され、再構成損失とベクトル量子化損失で訓練する。
• Adaptive complementary fusion は空間的相関マップを計算して補完された近傍柱を自己の早期融合柱とウェイト付け融合し、観測領域を保持するため空の柱のみを更新する。
• 訓練には全体のデテクター損失に加え、意味的および幾何的の二つの整合損失を含め、特徴学習の一貫性を導く。

Figure 1 : Comparative performance of early fusion when transmitting foreground (FG) points, foreground with surrounding (FG+SUR) points, background (BG) points, or all points. Transmitting FG or FG+SUR points leads to significant degradation due to missing contextual cues, demonstrating the necessi

実験結果

リサーチクエスチョン

• RQ1 協調 LiDAR システムにおいて、認識精度を犠牲にせず通信効率をどのように高められるか？
• RQ2 egoエージェントでの LiDAR 補完は sparsely transmitted neighbor points から密情報を復元できるか？
• RQ3 訓練時に意味的および幾何的整合性を課すと、異種性・姿勢誤差・遅延の下での融合の堅牢性は向上するか？
• RQ4 シミュレーションおよび実データセットを通じて、通信帯域と検出性能のトレードオフはどうなるか？

主な発見

• CoLCはデータセットと設定を跨いで、従来手法と比較して卓越した認識-通信のトレードオフを達成する。
• FG-FPSとBG-RPSを用いたFAPSは、前景のみ・背景のみのサンプリングよりも本質的な構造と文脈を良好に保持する。
• VQベースの LiDAR 補完を用いるCEEFは密な柱を再構成し、認識の空間的完成度を高める。
• DGDAは訓練時に強化された柱を密な対応物と意味的・幾何的に整合させることで追加的な利得を提供する。
• CoLCは異種エージェントモデル下でも堅牢であり、姿勢誤差や遅延下で中間的な融合アプローチよりも劣化が緩やかである。

Figure 2 : The overall architecture of CoLC. (a) Each neighbor agent applies Foreground-Aware Point Sampling (FAPS) to select and transmit informative points to the ego agent for efficient communication. (b) The ego agent performs Completion-Enhanced Early Fusion (CEEF), where the received sparse po