[論文レビュー] Send Less, Perceive More: Masked Quantized Point Cloud Communication for Loss-Tolerant Collaborative Perception

Sheng Xu, Enshu Wang+7 more|arXiv (Cornell University)|Feb 25, 2026

Advanced Neural Network Applications被引用数 0

ひとこと要約

QPoint2CommはLiDAR点群を共有コードブックで離散インデックスへ量子化し、パケット搟失耐性のある masked training を有効化、cascade attention fusion を用いて低帯域幅で高精度な協調知覚を実現します。

ABSTRACT

Collaborative perception allows connected vehicles to overcome occlusions and limited viewpoints by sharing sensory information. However, existing approaches struggle to achieve high accuracy under strict bandwidth constraints and remain highly vulnerable to random transmission packet loss. We introduce QPoint2Comm, a quantized point-cloud communication framework that dramatically reduces bandwidth while preserving high-fidelity 3D information. Instead of transmitting intermediate features, QPoint2Comm directly communicates quantized point-cloud indices using a shared codebook, enabling efficient reconstruction with lower bandwidth than feature-based methods. To ensure robustness to possible communication packet loss, we employ a masked training strategy that simulates random packet loss, allowing the model to maintain strong performance even under severe transmission failures. In addition, a cascade attention fusion module is proposed to enhance multi-vehicle information integration. Extensive experiments on both simulated and real-world datasets demonstrate that QPoint2Comm sets a new state of the art in accuracy, communication efficiency, and resilience to packet loss.

研究の動機と目的

• 自動運転における協調知覚の帯域幅制約とパケット損失に対処する。
• 共有コードブックを介してコンパクトなインデックスを伝送する離散的な点群表現を提案する。
• ランダム損失に対して性能を維持するパケット損失耐性トレーニング戦略を導入する。
• 自己車両特徴と協調手がかりを階層的に融合するロバストなマルチ車知覚のフレームワークを開発する。

提案手法

• 共有コードブック(DCR)を用いてLiDAR点群を離散コードブックインデックスへエンコードし、低帯域伝送を実現する。
• 受信インデックスから自己車両で協調点群を再構成する（占有と強度のデュアルコードブック設計）。
• マスク付き学習を適用してランダムなパケット損失をシミュレートし、推論時には欠損特徴を学習可能なベクトルで補完する。
• Pyramid-scale Fusion with Cascade Attention（PCAF）で自己特徴と協調特徴を階層的に統合し、遮蔽耐性を向上させる。
• Confidence-based Feature Filter（CFF）で低信頼度の協調特徴を除去し、BBox FilterとOffset（BFO）でボックスを精練する。
• 離散点群表現の学習を第一段階、融合を伴う3D物体検出を第二段階として2段階で学習する。

実験結果

リサーチクエスチョン

• RQ1 LiDARデータを大幅に帯域幅を削減して伝送しつつ、高い3D知覚精度を維持するにはどうすればよいか。
• RQ2 パケット損失耐性トレーニングスキームはランダムな伝送ドロップ下で協調知覚を頑健にできるか。
• RQ3 融合前に自己特徴と協調手がかりを階層的に結合することで遮蔽や位置推定誤差に対する頑健性が向上するか。

主な発見

Model	OPV2V AP@0.7	OPV2V AP@0.5	DAIR-V2X AP@0.7	DAIR-V2X AP@0.5
No Fusion	48.66	68.71	43.57	50.03
Late Fusion	59.48	79.62	34.47	51.14
Intermediate Fusion	70.82	88.41	39.38	56.22
When2comm	57.55	74.11	33.68	48.20
DisoNet	68.64	84.72	40.69	52.67
Where2comm	69.73	85.16	43.71	59.52
V2X-ViT	70.06	84.65	40.43	53.08
ERMVP	69.71	86.63	46.96	64.21
SICP	67.13	82.86	41.03	52.72
mmCooper	78.11	88.93	48.27	65.12
Ours	82.21	92.18	53.45	67.97

• QPoint2CommはOPV2VでAP@0.7を4.10%、DAIR-V2Xで5.18%の改善を達成。
• 離散コードブックインデックス伝送により通信量が低く安定（対数2スケールで約14.95）、待機遅延を低減。
• マスク付き学習により実験でパケット損失40%まで頑健性を実現し、高損失時にも多くのベースラインを上回る。
• 生の点群を量子化する方が中間特徴を量子化するより検出精度が高い。
• 提案されたCascade Attention Fusionは協調手がかりを自己特徴へ段階的に組み入れることで頑健性と精度を向上させる。