[논문 리뷰] Where2comm: Communication-Efficient Collaborative Perception via Spatial Confidence Maps

Yue Hu, Shaoheng Fang외 3명|arXiv (Cornell University)|2022. 09. 26.

Advanced Neural Network Applications인용 수 68

한 줄 요약

Where2comm은 협업 지각에서 희소하고 지각적으로 중요한 통신을 가능하게 하는 공간 신뢰도 맵을 도입하여, 데이터셋 전반에서 다양한 대역폭과 여러 라운드에서 우수한 지각 성능을 달성한다.

ABSTRACT

Multi-agent collaborative perception could significantly upgrade the perception performance by enabling agents to share complementary information with each other through communication. It inevitably results in a fundamental trade-off between perception performance and communication bandwidth. To tackle this bottleneck issue, we propose a spatial confidence map, which reflects the spatial heterogeneity of perceptual information. It empowers agents to only share spatially sparse, yet perceptually critical information, contributing to where to communicate. Based on this novel spatial confidence map, we propose Where2comm, a communication-efficient collaborative perception framework. Where2comm has two distinct advantages: i) it considers pragmatic compression and uses less communication to achieve higher perception performance by focusing on perceptually critical areas; and ii) it can handle varying communication bandwidth by dynamically adjusting spatial areas involved in communication. To evaluate Where2comm, we consider 3D object detection in both real-world and simulation scenarios with two modalities (camera/LiDAR) and two agent types (cars/drones) on four datasets: OPV2V, V2X-Sim, DAIR-V2X, and our original CoPerception-UAVs. Where2comm consistently outperforms previous methods; for example, it achieves more than $100,000 imes$ lower communication volume and still outperforms DiscoNet and V2X-ViT on OPV2V. Our code is available at https://github.com/MediaBrain-SJTU/where2comm.

연구 동기 및 목표

• 다중 에이전트 협업 인지에서 지각 성능과 통신 대역폭 간의 트레이드오프를 동기 부여하고 해결한다.
• 지각적으로 중요한 공간 영역을 식별하기 위한 공간 신뢰도 맵을 제안한다.
• 희소하고 대역폭 적응형 통신 및 개선된 3D 물체 검출을 위한 강건한 융합 프레임워크를 개발한다.
• 다중 모달리티(카메라/라이더), 에이전트 유형(자동차/드론), 데이터셋에서의 효과를 입증한다.

제안 방법

• BEV 특징 맵에서 지각적으로 중요한 영역을 나타내는 공간 신뢰도 맵을 각 에이전트에 대해 생성한다.
• 메시지를 희소한 특징 맵과 요청 맵으로 포장하여 중요한 영역만 선택적으로 통신할 수 있도록 한다.
• 정보 중첩 및 에이전트의 필요에 따라 누구가 누구와 통신할지 안내하는 희소하게 연결된 통신 그래프를 구성한다.
• 수신된 희소 메시지를 위치별 다중 헤드 어텐션을 갖춘 공간 인식 트랜스포머를 통해 융합하고 센서 위치 인코딩의 도움을 받는다.
• 여러 라운드의 탐지 손실을 합산하고 대역폭 및 라운드의 변화에 대응하는 커리큘럼 학습을 사용해 다중 라운드 감독으로 학습한다.

실험 결과

연구 질문

• RQ1 공간적 이질성이 지각 정보를 어떻게 활용하여 지각 성능 저하 없이 통신을 줄일 수 있는가?
• RQ2 where-to-communicate(어디에 komunik)? whonot communicate(누구와 소통할지)를 학습하여 다른 대역폭과 라운드에 적응할 수 있는가?
• RQ3 공간 신뢰도 기반의 통신이 실제 및 시뮬레이션 다중 에이전트 시나리오에서 3D 객체 검출을 개선하는가?

주요 결과

• Where2comm은 네 가지 데이터셋과 다양한 모달리티 및 에이전트 유형에 걸쳐 우수한 지각-대역폭 트레이드오프를 달성한다.
• OPV2V에서 DiscoNet 및 V2X-ViT를 능가하며 통신 볼륨을 최대 약 100,000배까지 대폭 줄이면서도 성능이 향상된다.
• 추가 통신 라운드가 늘어날수록 성능 이점이 커지며 CoPerception-UAVs, OPV2V, V2X-Sim에서 강건한 개선을 보인다.
• 다양한 가우시안 로컬라이제이션 교란 하에서 이전 SOTA보다 강한 로컬라이제이션 잡음 강건성을 보인다.
• 다중 헤드 어텐션, 센서 위치 인코딩, 공간 신뢰도 맵이 융합 성능 향상에 가치를 확인하는 제거/변성 실험.
• 질적 시각화는 희소하지만 중요한 공유 정보를 통해 가려진 물체의 성공적인 검출을 보여준다.