[논문 리뷰] Neurosymbolic Transformers for Multi-Agent Communication

Jeevana Priya Inala, Yichen Yang외 6명|arXiv (Cornell University)|2021. 01. 05.

Reinforcement Learning in Robotics인용 수 11

한 줄 요약

이 논문은 행동 선택을 위한 트랜스포머 정책과 통신을 최소화하기 위한 프로그래머티크 통신 정책을 결합한 하이브리드 프레임워크인 뉴로심볼릭 트랜스포머를 제안한다. 먼저 소프트 어텐션 패턴을 학습하기 위해 트랜스포머를 엔드 투 엔드로 훈련한 후, 스위치 기반의 프로그램 합성 기반으로 이산적이고 저도수의 통신 그래프를 생성함으로써, 통신 대역폭을 크게 줄이고도 거의 최적의 성능를 달성한다. 이는 통신 효율성 측면에서 표준 트랜스포머를 능가한다.

ABSTRACT

We study the problem of inferring communication structures that can solve cooperative multi-agent planning problems while minimizing the amount of communication. We quantify the amount of communication as the maximum degree of the communication graph; this metric captures settings where agents have limited bandwidth. Minimizing communication is challenging due to the combinatorial nature of both the decision space and the objective; for instance, we cannot solve this problem by training neural networks using gradient descent. We propose a novel algorithm that synthesizes a control policy that combines a programmatic communication policy used to generate the communication graph with a transformer policy network used to choose actions. Our algorithm first trains the transformer policy, which implicitly generates a "soft" communication graph; then, it synthesizes a programmatic communication policy that "hardens" this graph, forming a neurosymbolic transformer. Our experiments demonstrate how our approach can synthesize policies that generate low-degree communication graphs while maintaining near-optimal performance.

연구 동기 및 목표

• 대역폭 제약 조건 하에서 협동 다중 에이전트 계획에서 통신을 최소화하는 데 도전하는 것.
• 고정 또는 완전 연결 통신 그래프의 한계를 피하면서 통신 도수를 낮추면서도 높은 작업 성능을 달성하는 통신 정책을 설계하는 것.
• 학습 가능하고 해석 가능한 통신 구조를 통해 분산 다중 에이전트 시스템에서 효율적이고 확장 가능하며 강건한 협동을 가능하게 하는 것.
• 이산적이고 비가역적인 통신 도수 목표를 해결하기 위해 신경망과 심볼릭 프로그램 합성을 결합하는 것.
• 글로벌 조율이 필요 없이 통신 결정에 무작위성을 도입함으로써 일반화 및 강건성을 향상시키는 것.

제안 방법

• 유용한 통신 패턴을 암묵적으로 모델링하기 위해 소프트 어텐션 가중치를 학습하기 위해 엔드 투 엔드로 트랜스포머 정책을 훈련한다.
• MCMC 샘플링 기반의 스위치 기반 합성 알고리즘을 사용하여 트랜스포머의 행동을 재현하면서도 통신 그래프의 최대 도수를 최소화하는 프로그래머틱 통신 정책을 생성한다.
• 집합 연산(필터, 매핑)과 무작위 선택을 사용하여 통신 파트너를 선택함으로써 분산형이고 강건한 결정을 가능하게 한다.
• 최종적으로 뉴로심볼릭 트랜스포머는 합성된 프로그램에서 유도된 통신 그래프를 하드웨어에 통합한 후, 선택된 간선 위에서만 트랜스포머의 어텐션 가중치를 피니튜닝한다.
• 통신 정책은 원래 트랜스포머의 충실도와 통신 효율성을 동시에 최적화하기 위해 가중치가 부여된 목적 함수를 사용하여 훈련된다.
• 이 방법은 다양한 통신 지표(예: 최대 진입도, 총 간선 수)를 지원하며, 라이다나 카메라 입력과 같은 복잡한 관측값으로도 확장 가능하다.

실험 결과

연구 질문

• RQ1 뉴로심볼릭 접근법은 작업 성능을 희생시키지 않고 다중 에이전트 시스템의 통신을 줄일 수 있는가?
• RQ2 학습 프레임워크 내에서 이산적이고 비가역적인 통신 도수 목표를 효과적으로 최적화할 수 있는가?
• RQ3 무작위 선택을 포함한 프로그래머틱 통신 정책이 분산 다중 에이전트 협동에서 부하 균형과 강건성을 향상시킬 수 있는가?
• RQ4 심볼릭 프로그램 기반 정책이 소프트 어텐션 트랜스포머의 성능을 거의 그대로 유지하면서도 통신을 극적으로 줄일 수 있는가?
• RQ5 학습된 통신 규칙은 경로 계획이나 충돌 회피와 같은 작업 관련 에이전트 상호작용과 어떻게 관련이 있는가?

주요 결과

• 제안된 뉴로심볼릭 트랜스포머는 표준 트랜스포머에 비해 통신 도수를 크게 줄였음에도 불구하고 거의 최적의 작업 성능를 달성한다.
• 무작위 선택을 활용한 프로그래머틱 통신 정책은 통신 부하를 에이전트 간에 균일하게 분산시켜 고도수 허브를 피하는 데 성공한다.
• 합성된 정책은 가시화된 규칙 조건과 점수를 통해 장기적 계획이나 충돌 회피에 관련된 에이전트에 집중함으로써 해석 가능하다.
• 고정된 통신 그래프(예: 거리 기반)보다 성능이 뛰어나며, 더 효과적이고 작업 적응형 통신 구조를 학습한다.
• 스위치 규칙의 사용으로 인해 통신 링크 장애 발생 시에도 성능 저하 없이 동적으로 적응할 수 있어 강건성이 향상된다.
• 이 방법은 다양한 통신 지표로 일반화 가능하며, 카메라나 라이다 입력과 같은 복잡한 관측 환경으로도 확장 가능하다.