[논문 리뷰] Are Multiagent Systems Resilient to Communication Failures?

Philip N. Brown, Holly Borowski외 1명|arXiv (Cornell University)|2017. 10. 23.

Game Theory and Applications참고 문헌 18인용 수 3

한 줄 요약

이 논문은 게임 이론적 제어 프레임워크에서 다중 에이전트 시스템이 통신 장애에도 여전히 내성적 저항성을 유지하는지 조사한다. 표준 학습 규칙 하에서 한 에이전트가 다른 한 에이전트와 통신을 잃는 것만으로도 시스템 성능이 극단적으로 악화될 수 있음을 보여주지만, 특히 프록시 보상이 잠재 기능과 일치할 경우, 국소 보상 함수의 체계적 설계를 통해 저항성을 유지할 수 있는 조건을 규명한다.

ABSTRACT

A challenge in multiagent control systems is to ensure that they are appropriately resilient to communication failures between the various agents. In many common game-theoretic formulations of these types of systems, it is implicitly assumed that all agents have access to as much information about other agents' actions as needed. This paper endeavors to augment these game-theoretic methods with policies that would allow agents to react on-the-fly to losses of this information. Unfortunately, we show that even if a single agent loses communication with one other weakly-coupled agent, this can cause arbitrarily-bad system states to emerge as various solution concepts of an associated game, regardless of how the agent accounts for the communication failure and regardless of how weakly coupled the agents are. Nonetheless, we show that the harm that communication failures can cause is limited by the structure of the problem; when agents' action spaces are richer, problems are more susceptible to these types of pathologies. Finally, we undertake an initial study into how a system designer might prevent these pathologies, and explore a few limited settings in which communication failures cannot cause harm.

연구 동기 및 목표

• 에이전트 간 통신 장애 발생 시 게임 이론적 다중 에이전트 시스템이 여전히 저항성을 유지하는지 조사하기.
• 분산 제어 시스템에서 나시 균형과 같은 해법 개념에 통신 장애가 미치는 영향을 검토하기.
• 정보 누락 상황에서도 시스템 성능을 유지할 수 있도록 에이전트에 온라인 반응 정책을 부여할 수 있는지 판단하기.
• 통신 장애가 시스템 행동을 손상시키지 않는 체계적 조건을 규명하기.

제안 방법

• 저자들은 유일한 순수 나시 균형을 가지는 잠재 게임으로 시스템을 모델링하고, 통신 손실이 최적 반응 역학에 미치는 영향을 분석한다.
• 실제 잠재 기능의 프록시로 기능하는, 통신을 잃은 에이전트의 행동에 대해 최대화하는 감소된 잠재 기능 $\tilde{W}$ 를 도입한다.
• 최적 반응이 여전히 전역 최적점으로 향하도록 보장하기 위해, $\tilde{W}$ 와 일치하도록 프록시 보상 함수 $\tilde{U}_1$ 을 설계한다.
• 인증서 제안: 플레이어의 프록시 보상 함수가 감소된 잠재 기능과 일치하는 행동에 대해 최대화되면, 감소된 게임은 최적 반응 하에 약한 순환성을 유지한다.
• 수렴 성질을 평가하기 위해 기억 없는 학습 규칙, 특히 비동기 최적 반응 역학을 중심으로 분석한다.
• 최적 반응 경로, 잠재 기능, 나시 균형의 유일성과 같은 게임 이론 개념을 활용해 이론적 결과를 도출한다.

실험 결과

연구 질문

• RQ1 유일한 순수 나시 균형을 가지는 다중 에이전트 시스템이 에이전트 간 통신 장애에도 여전히 저항성을 유지할 수 있는가?
• RQ2 통신이 끊어졌을 때, 에이전트가 상대방의 행동에 대한 정보가 없더라도 최적 균형으로의 수렴을 유지할 수 있는 프록시 보상을 계산할 수 있는 조건은 무엇인가?
• RQ3 잠재 기능의 구조가 병렬적 결과를 방지하는 안전한 프록시 보상 설계를 가능하게 하는가?
• RQ4 한 에이전트의 행동 정보를 상실할 경우, 잠재 게임에서 학습 알고리즘의 수렴에 어떤 영향을 미치는가?
• RQ5 메모리 없는 학습 규칙이 다른 에이전트의 정보를 완전히 확보하지 못하더라도 전체 시스템의 효율성을 보장할 수 있는가?

주요 결과

• 결합 강도에 관계없이 표준 게임 이론적 학습 규칙 하에서 한 에이전트가 다른 한 에이전트와 통신을 잃는 것만으로도 시스템 성능이 극단적으로 악화될 수 있다.
• 에이전트가 다른 이의 행동에 대한 정보를 확보하지 못할 경우, 프록시 보상이 잘못 일치하면 수렴이 최적 균형이 아닌 열악한 균형으로 이어질 수 있다.
• 프록시 보상이 감소된 잠재 기능 $\tilde{W}$ 와 일치할 경우, 최적 반응 하에 시스템은 여전히 약한 순환성을 유지하고 유일한 나시 균형으로 수렴한다.
• 저항성을 확보하기 위한 충분조건은 플레이어의 프록시 보상 함수가 감소된 잠재 기능과 일치하는 행동에 대해 최대화되어야 한다는 것이다.
• 유일한 순수 나시 균형을 가지는 잠재 게임에서는 안전한 프록시 보상의 존재가 보장되지만, 전역 잠재 기능에 접근할 수 없을 경우 이를 계산할 수는 없다.
• 결과적으로 시스템 설계자는 정보 손실 상황에서 저항성을 유지하기 위해 국소 보상 함수를 전역 잠재 기능과 정밀하게 일치시켜야 한다.