[論文レビュー] Where2comm: Communication-Efficient Collaborative Perception via Spatial Confidence Maps

Yue Hu, Shaoheng Fang+3 more|arXiv (Cornell University)|Sep 26, 2022

Advanced Neural Network Applications被引用数 68

ひとこと要約

Where2commは、空間的信頼度マップを導入し、希少で知覚的に重要な通信を可能にする協調知覚を実現し、データセット間で帯域幅が異なる場合でも複数ラウンドで優れた知覚を達成する。

ABSTRACT

Multi-agent collaborative perception could significantly upgrade the perception performance by enabling agents to share complementary information with each other through communication. It inevitably results in a fundamental trade-off between perception performance and communication bandwidth. To tackle this bottleneck issue, we propose a spatial confidence map, which reflects the spatial heterogeneity of perceptual information. It empowers agents to only share spatially sparse, yet perceptually critical information, contributing to where to communicate. Based on this novel spatial confidence map, we propose Where2comm, a communication-efficient collaborative perception framework. Where2comm has two distinct advantages: i) it considers pragmatic compression and uses less communication to achieve higher perception performance by focusing on perceptually critical areas; and ii) it can handle varying communication bandwidth by dynamically adjusting spatial areas involved in communication. To evaluate Where2comm, we consider 3D object detection in both real-world and simulation scenarios with two modalities (camera/LiDAR) and two agent types (cars/drones) on four datasets: OPV2V, V2X-Sim, DAIR-V2X, and our original CoPerception-UAVs. Where2comm consistently outperforms previous methods; for example, it achieves more than $100,000 imes$ lower communication volume and still outperforms DiscoNet and V2X-ViT on OPV2V. Our code is available at https://github.com/MediaBrain-SJTU/where2comm.

研究の動機と目的

• 多エージェント協調知覚における知覚性能と通信帯域のトレードオフを動機づけ、解決する。
• 知覚的に重要な空間領域を特定するための空間信頼度マップを提案する。
• 3D物体検出を改善するための、疎な帯域適応通信と頑健な融合を可能にするフレームワークを開発する。
• 複数モダリティ（カメラ/ LiDAR）、エージェントタイプ（車両/ドローン）、データセットにわたって有効性を示す。

提案手法

• BEV特徴マップから空間信頼度マップを生成し、各エージェントにとって知覚的に重要な領域を示す。
• メッセージを疎な特徴マップとリクエストマップとしてパックし、重要な領域のみを選択的に通信できるようにする。
• 情報の重なりとエージェントのニーズに基づいて疎結合の通信グラフを構築し、誰が誰と通信するかを導く。
• 位置ごとマルチヘッド注意を備えた空間認識トランスフォーマーを用いて受信した疎通りMessagesを融合し、センサ位置エンコーディングを補助とする。
• 各ラウンドの検出損失を合計する多ラウンド監督で訓練し、帯域幅とラウンドの変動に対応するカリキュラム学習を適用する。

実験結果

リサーチクエスチョン

• RQ1 知覚情報の空間的異質性をどのように活用して、知覚性能を犠牲にせず通信量を削減できるか？
• RQ2 どこで通信するか、誰と通信するかを異なる帯域幅とラウンドに適応させて学習できるか？
• RQ3 空間信頼度ガイド付き通信は、実データとシミュレーションの多エージェント環境を横断して3D物体検出を改善するか？

主な発見

• Where2commは4つのデータセットと複数のモダリティおよびエージェントタイプに跨る知覚-帯域のトレードオフで優れた性能を達成。
• OPV2VでDiscoNetおよびV2X-ViTを上回りつつ、通信量を大幅に削減（例：最大10万倍少なく）する。
• 追加の通信ラウンドとともに性能向上が拡大し、CoPerception-UAVs、OPV2V、V2X-Simで堅牢な改善を示す。
• 局所化ノイズに対する堅牢性が高く、さまざまなガウス分布の局所化ゆらぎの下で従来のSOTAを上回る。
• アブレーションにより、マルチヘッド注意、センサ位置エンコーディング、空間信頼度マップが融合の改善に有効であることを確認。
• 定性的な視覚化は、疎だが重要な共有情報を介して遮蔽されたオブジェクトの検出成功を示す。