[논문 리뷰] When2com: Multi-Agent Perception via Communication Graph Grouping

Yen‐Cheng Liu, Junjiao Tian외 2명|arXiv (Cornell University)|2020. 05. 30.

Mobile Crowdsensing and Crowdsourcing참고 문헌 36인용 수 6

한 줄 요약

이 논문은 다중 에이전트 인식을 위한 학습 가능한 커뮤니케이션 프레임워크인 When2com을 제안한다. 이 프레임워크는 동적으로 커뮤니케이션 그룹을 형성하고 언제 커뮤니케이션을 할지를 결정함으로써 대역폭을 크게 줄이면서도 높은 성능을 유지한다. 쿼리와 키 성분으로 커뮤니케이션을 분리하고 비대칭적인 크기를 적용함으로써, 지도 학습이 필요로 하는 커뮤니케이션 레이블 없이도 의미 분할 및 3D 형태 인식과 같은 다양한 작업에서 뛰어난 효율성과 일반화 성능을 달성한다.

ABSTRACT

While significant advances have been made for single-agent perception, many applications require multiple sensing agents and cross-agent communication due to benefits such as coverage and robustness. It is therefore critical to develop frameworks which support multi-agent collaborative perception in a distributed and bandwidth-efficient manner. In this paper, we address the collaborative perception problem, where one agent is required to perform a perception task and can communicate and share information with other agents on the same task. Specifically, we propose a communication framework by learning both to construct communication groups and decide when to communicate. We demonstrate the generalizability of our framework on two different perception tasks and show that it significantly reduces communication bandwidth while maintaining superior performance.

연구 동기 및 목표

• 중앙 집중적 조율 없이도 대역폭 제약이 있는 분산 다중 에이전트 인식 환경에서 에이전트들이 협업할 수 있도록 문제를 해결하는 것.
• 언제 누구와 커뮤니케이션할지를 모두 학습하는 프레임워크를 개발하여 불필요하거나 해로운 전송을 줄이는 것.
• 밀도 높은 예측(의미 분할)과 전역 예측(3D 형태 인식)과 같은 다양한 인식 작업 간의 일반화를 이루는 것.
• 커뮤니케이션 결정에 대해 명시적인 지도 신호가 필요 없이, 오직 최종 작업 신호에 의존하는 것.
• 다중 에이전트 인식 연구를 위한 새로운 벤치마크 데이터셋인 AirSim-MAP을 제공하는 것.

제안 방법

• 에이전트들이 쿼리-키 매칭 기반으로 커뮤니케이션 점수를 계산하는 수동 커뮤니케이션 메커니즘을 사용하여 동적으로 그룹을 형성한다.
• 커뮤니케이션을 비대칭적인 메시지(키)와 쿼리 성분으로 분리함으로써, 더 작은 쿼리 크기와 더 큰 키 크기를 통해 대역폭을 줄인다.
• 지능형 주의 메커니즘 유사 방식을 사용해 종단 간으로 커뮤니케이션 결정을 학습하며, 커뮤니케이션 레이블이 필요로 하지 않는다.
• 다운스트림 작업(예: 의미 분할 마스크, 클래스 레이블)의 신호만을 사용해 종단 간으로 학습한다.
• 쿼리-키 매칭 점수가 학습된 임계값을 초과할 경우 커뮤니케이션 그룹이 형성되어 선택적이고 맥락 인식 기반 협업이 가능하다.
• 완전 연결형 및 그룹 기반 커뮤니케이션 모두를 지원하며, 후자는 불필요한 연결을 동적으로 제거한다.

실험 결과

연구 질문

• RQ1 학습 가능한 커뮤니케이션 프레임워크는 정확도를 희생시키지 않고도 다중 에이전트 인식에서 대역폭 사용을 줄일 수 있는가?
• RQ2 고정형 또는 완전 연결형 커뮤니케이션과 비교할 때, 다중 에이전트 환경에서 동적 커뮤니케이션 그룹 형성이 얼마나 효과적인가?
• RQ3 다운스트림 작업 신호에만 의존할 경우, 모델이 언제 커뮤니케이션을 해야 할지를 얼마나 잘 학습할 수 있는가?
• RQ4 비대칭적인 쿼리 및 키 크기의 영향은 커뮤니케이션 효율성과 성능에 어떤가?
• RQ5 밀도 높은 예측과 전역 예측과 같은 다양한 인식 작업 간에 프레임워크가 일반화될 수 있는가?

주요 결과

• When2com는 완전 연결 기반 모델 대비 최대 4배까지 커뮤니케이션 대역폭을 줄였으며, 다중 에이전트 의미 분할 작업에서 유사한 성능을 유지한다.
• 3D 형태 인식 작업에서, TarMac라는 강력한 기준 모델 대비 1/8의 대역폭만 사용해 경쟁 가능한 정확도를 달성했다.
• 핸셰이크 커뮤니케이션 메커니즘이 커뮤니케이션 정확도를 크게 향상시켰으며, 무작위 커뮤니케이션 및 핸드셰이크 모듈이 없는 모델보다 뛰어난 성능을 보였다.
• 16차원 쿼리에서 그룹 정확도가 포화 상태에 도달하지만, 더 큰 키 크기(최대 1024D)에서는 계속 향상되어 비대칭성의 효과적인 활용이 가능함을 보여주었다.
• WhenToCom 및 그룹 형성 메트릭을 통해 측정한 높은 선택 정확도를 달성하여, 언제 누구와 커뮤니케이션할지를 효과적으로 결정하는 능력을 입증했다.
• 제거 실험을 통해 제안된 핸드셰이크 메커니즘이 정확하고 맥락 인식 기반의 커뮤니케이션 결정을 위해 필수적임을 확인했다.