[논문 리뷰] Distributed Learning with Adversarial Agents Under Relaxed Network Condition

Pooja Vyavahare, Lili Su외 1명|arXiv (Cornell University)|2019. 01. 07.

Distributed Sensor Networks and Detection Algorithms참고 문헌 11인용 수 8

한 줄 요약

이 논문은 글로벌 공감이 필요하지 않은 다중 에이전트 네트워크에서 악성 에이전트가 존재하는 상황에서 분산 비베이지안 학습 알고리즘을 제안한다. 모든 에이전트가 자신에게 도달 가능한 에이전트들이 함께 진정한 상태를 식별할 수 있다면, 에이전트들이 거의 확실히 진정한 상태를 학습할 수 있음을 증명한다. 이는 이전 연구에서 네트워크 구조에서 공감이 필요하다는 조건을 완화한 것이다.

ABSTRACT

This work studies the problem of non-Bayesian learning over multi-agent network when there are some adversarial (faulty) agents in the network. At each time step, each non-faulty agent collects partial information about an unknown state of the world and tries to estimate true state of the world by iteratively sharing information with its neighbors. Existing algorithms in this setting require that all non-faulty agents in the network should be able to achieve consensus via local information exchange. In this work, we present an analysis of a distributed algorithm which does not require the network to achieve consensus. We show that if every non-faulty agent can receive enough information (via iteratively communicating with neighbors) to differentiate the true state of the world from other possible states then it can indeed learn the true state.

연구 동기 및 목표

• 일부 에이전트가 악성(비잔틴 결함)인 다중 에이전트 네트워크에서의 비베이지안 학습 문제를 다루는 것.
• 비고장 에이전트가 국부적 통신을 통해 공감을 달성해야 한다는 이전 요구 조건을 완화하는 것.
• 비고장 에이전트가 여전히 거의 확실히 세계의 진정한 상태를 학습할 수 있는 조건을 설정하는 것.
• 이전 결과를 강한 연결성 또는 공감 능력이 보장되지 않는 네트워크로 일반화하는 것.

제안 방법

• 국부적 통신과 가능도 비율의 기하 평균을 이용한 반복적 정보 공유 기반 알고리즘을 제안한다.
• 모든 비고장 에이전트가 이웃으로부터 충분한 정보를 수신하여 진정한 상태를 식별할 수 있는 네트워크 조건을 도입한다.
• 정보 전파를 모델링하기 위해 행이 확률합이 1인 행렬 Φ(t,r+1)를 사용하고, 고장 난 에이전트의 영향에 대한 경계를 적용한다.
• 믿음 집중을 추적하기 위해 로그 가능도 비율 ψₜⁱ(θ,θ*)를 활용하며, 거짓 상태에 대해서는 이 값이 -∞로 발산함을 보여준다.
• 레퍼런스 1을 적용하여 네트워크의 소스 컴포넌트 내 비고장 에이전트의 영향을 경계함으로써 진정한 상태로의 수렴을 보장한다.
• 거의 확실한 수렴 분석을 적용하여, 거짓 상태에 대한 믿음이 渐진적으로 0으로 수렴함을 증명한다.

실험 결과

연구 질문

• RQ1 글로벌 공감이 달성되지 않더라도, 비잔틴 에이전트가 존재하는 다중 에이전트 네트워크에서 비베이지안 학습이 성공할 수 있는가?
• RQ2 비고장 에이전트가 진정한 상태를 학습할 수 있도록 충분한 더 약한 네트워크 조건은 무엇인가?
• RQ3 강한 연결성 또는 공감 능력이 보장되지 않는 네트워크에서 강건한 분산 학습을 위해 요구 조건을 완화할 수 있는가?
• RQ4 공감이 필요하지 않은 상황에서 악성 에이전트의 영향은 믿음 수렴에 어떻게 영향을 미치는가?
• RQ5 분석을 동적 또는 이방향 네트워크 환경으로 확장할 수 있는가?

주요 결과

• 알고리즘은 시간이 지남에 따라 모든 비고장 에이전트가 거의 확실히 진정한 상태 θ*에 믿음을 집중시킴을 보장한다.
• 수렴의 핵심 조건은 주어진 에이전트로부터 도달 가능한 모든 에이전트가 함께 진정한 상태를 식별할 수 있어야 한다는 것이다.
• 분석 과정에서 네트워크가 공감을 달성해야 한다는 조건이 필요하지 않으며, 이는 이전 연구에서 기본적인 가정을 완화한 것이다.
• 임의의 거짓 상태 θ ≠ θ*에 대한 믿음은 거의 확실히 0으로 수렴하며, ψₜⁱ(θ,θ*) → -∞ 임을 보여준다.
• 수렴 속도는 시간의 제곱항으로 아래bound되어 있으며, ψₜⁱ(θ,θ*)/t² ≤ -β^ν C₁/(2n) 이다. 여기서 β, ν, C₁는 상수이다.
• 결과는 고장 없는 네트워크로도 확장 가능하며, 이는 이전 연구에서 강한 연결성을 요구했던 것과는 달리, 분리되거나 약하게 연결된 컴포넌트를 허용한다.