[논문 리뷰] Gaussian Process Based Message Filtering for Robust Multi-Agent Cooperation in the Presence of Adversarial Communication

Rupert Mitchell, Jan Blumenkamp외 1명|arXiv (Cornell University)|2020. 12. 01.

Gaussian Processes and Bayesian Inference인용 수 7

한 줄 요약

이 논문은 다중 에이전트 시스템에서 악성 통신에 대한 강건성을 향상시키기 위해 가우시안 프로세스 기반 메시지 필터링 프레임워크를 제안한다. 유의미한 메시지 인코딩의 공간적 상관관계를 학습 가능한 GP 커널로 모델링함으로써, 에이전트들은 통신 파art너의 진실성에 대한 신뢰도 점수를 산출하게 되어, 다양한 악성 조건에서도 성능 저하를 최소화하면서 오해의 소지를 가진 메시지를 효과적으로 필터링할 수 있다.

ABSTRACT

In this paper, we consider the problem of providing robustness to adversarial communication in multi-agent systems. Specifically, we propose a solution towards robust cooperation, which enables the multi-agent system to maintain high performance in the presence of anonymous non-cooperative agents that communicate faulty, misleading or manipulative information. In pursuit of this goal, we propose a communication architecture based on Graph Neural Networks (GNNs), which is amenable to a novel Gaussian Process (GP)-based probabilistic model characterizing the mutual information between the simultaneous communications of different agents due to their physical proximity and relative position. This model allows agents to locally compute approximate posterior probabilities, or confidences, that any given one of their communication partners is being truthful. These confidences can be used as weights in a message filtering scheme, thereby suppressing the influence of suspicious communication on the receiving agent's decisions. In order to assess the efficacy of our method, we introduce a taxonomy of non-cooperative agents, which distinguishes them by the amount of information available to them. We demonstrate in two distinct experiments that our method performs well across this taxonomy, outperforming alternative methods. For all but the best informed adversaries, our filtering method is able to reduce the impact that non-cooperative agents cause, reducing it to the point of negligibility, and with negligible cost to performance in the absence of adversaries.

연구 동기 및 목표

• 비협력적 에이전트가 오해의 소지를 가진 정보나 오류가 있는 정보를 전송하는 악성 통신 상황에서 다중 에이전트 시스템의 취약성을 해결하기 위해.
• 사전에 행동 양식을 알지 못하는 상태에서도 악성 메시지를 탐지하고 필터링할 수 있는 탈중앙화된, 학습 가능한 통신 아키텍처를 개발하기 위해.
• 근접한 에이전트 간 메시지 간 상호정보량을 기반으로 하는 기울기 가능(GP) 기반 확률적 프레임워크를 사용하여 공간적 의존성을 포착하는 모델링을 위해.
• 이 모델을 그래프 신경망(GNN) 기반의 통신 아키텍처에 통합하여 불확실성 하에서 확장 가능하고 국소화된 의사결정을 가능하게 하기 위해.
• 다양한 수준의 정보 접근 권한을 가진 악성 에이전트의 분류 체계에 따라 성능을 평가하여, 강건성과 최소한의 성능 저하를 입증하기 위해.

제안 방법

• 탈중앙화된 이웃 간 메시지 교환을 가능하게 하기 위해 GNN 기반의 통신 아키텍처를 사용하며, 메시지는 학습 가능한 오토인코더 기반의 관측값으로 표현된다.
• 공간적으로 근접한 에이전트들 간 잠재 메시지 인코딩의 공동 분포를 학습 가능한 커널 함수를 가진 가우시안 프로세스(GP)로 모델링하여 기대되는 상호정보량을 포착한다.
• 에이전트 위치를 조건으로 하여 GP를 설정하고, 메시지 인코딩의 사전 분포를 모델링하기 위해 자동에코딩 변분 베이즈(AEVB) 프레임워크를 사용해 훈련한다.
• 메시지 신뢰도의 후행 확률적 평가를 가능하게 하기 위해, GP의 예측 분포를 사용하여 각 통신 파트너에 대한 신뢰도 점수(신뢰 수준)를 계산한다.
• 계산된 신뢰도 점수에 따라 들어오는 메시지를 가중치를 두어, 의심스럽거나 악성인 에이전트의 신호를 억제하는 메시지 필터링 메커니즘을 구현한다.
• 에이전트 간 그래프 내 순서에 민감하지 않도록 대칭화하고 순열 불변성을 확보하기 위해 $ \frac{1}{2}(\mathbf{c}_{ij} + \mathbf{c}_{ji}^T) $ 를 평균화한다.

실험 결과

연구 질문

• RQ1 GP 기반 모델이 다중 에이전트 시스템에서 메시지 인코딩의 공간적 의존성을 효과적으로 포착하여 비정상적인 통신을 탐지할 수 있는가?
• RQ2 제안된 필터링 메커니즘은 정보 접근 수준이 다른 다양한 악성 에이전트의 스펙트럼에서 어떻게 성능을 발휘하는가?
• RQ3 비협력적 에이전트의 영향을 얼마나 효과적으로 줄일 수 있으며, 악성 에이전트가 존재하지 않을 경우 성능 유지 수준은 어느 정도인가?
• RQ4 이 방법은 탈중앙화성이나 확장성을 해치지 않으면서 GNN 기반의 통신 아키텍처에 통합될 수 있는가?
• RQ5 모델의 신뢰도 추정은 다른 이상 탐지 접근 방식과 비교해 강건성과 효율성 측면에서 어떻게 성과를 내는가?

주요 결과

• 제안된 방법은 가장 정보 접근 권한이 높은 악성 에이전트를 제외한 모든 유형의 비협력적 에이전트의 영향을 크게 줄여, 그 영향을 무시할 수준으로 낮춘다.
• 가장 정보 접근 권한이 높은 에이전트를 제외한 모든 악성 에이전트에 대해, 메시지 필터링이 오해의 소지를 가진 정보를 효과적으로 억제하면서도 시스템 성능 저하를 최소화한다.
• 비협력적 에이전트가 존재하지 않을 경우, 협력적인 작업 수행에 거의 영향을 주지 않으며 높은 성능을 유지한다.
• GP 기반의 신뢰도 추정은 메시지 인코딩의 공간적 상관관계를 모델링하여 비정상 메시지의 정확한 탐지를 가능하게 한다.
• 정의된 악성 행동 유형의 분류 체계에서 기준선 방법 대비 강건성과 적응 능력 측면에서 모두 뛰어난 성능을 보인다.
• 기울기 가능(GP) 커널은 엔드 투 엔드 훈련과 예측 불가능한 에이전트 구성에 대한 일반화를 가능하게 하여 확장성과 강건성을 입증한다.