[논문 리뷰] A Game-Theoretic Utility Network for Cooperative Multi-Agent Decisions in Adversarial Environments

Qin Yang, Ramviyas Parasuraman|arXiv (Cornell University)|2020. 04. 23.

Infrastructure Resilience and Vulnerability Analysis참고 문헌 16인용 수 4

한 줄 요약

이 논문은 적대적 환경에서 다중 에이전트 시스템의 고수준 협력 전략을 실행 가능한 저수준 행동으로 분해할 수 있는 계층적 네트워크 모델인 게임이론적 유용도 트리(GUT)를 제안한다. 게임 이론, 베이지안 네트워크, 그리고 수요 기반 유용도 함수를 통합함으로써 GUT는 시뮬레이션에서 QMIX를 능가하여 더 높은 승리 비율과 낮은 시스템 비용을 달성하며, 정보가 불완전한 상황에서도 협력 모델링과 예측 모델링을 향상시킨다.

ABSTRACT

Underlying relationships among multi-agent systems (MAS) in hazardous scenarios can be represented as Game-theoretic models. We measure the performance of MAS achieving tasks from the perspective of balancing success probability and system costs. This paper proposes a new network-based model called Game-theoretic Utility Tree (GUT), which decomposes high-level strategies into executable low-level actions for cooperative MAS decisions. This is combined with a new payoff measure based on agent needs for real-time strategy games. We present an Explore game domain to evaluate GUT against the state-of-the-art QMIX decision-making method. Conclusive results on extensive numerical simulations indicate that GUT can organize more complex relationships among MAS cooperation, helping the group achieve challenging tasks with lower costs and a higher winning rate.

연구 동기 및 목표

• 적대적 환경에서 작업 성공 확률과 시스템 비용을 균형 잡는 협력 다중 에이전트 시스템 설계의 과제를 해결하기 위해.
• 특히 의도적 및 비의도적 적대자 존재 하에서 불확실성 하에서 복잡한 에이전트 관계와 계층적 의사결정을 모델링하기 위해.
• 마슬로우의 계층 이론을 영감으로 삼아 에이전트 수요 기반의 새로운 유용도 계산 프레임워크를 개발하여 협력 전략 선택을 이끌기 위해.
• 실제 게임이론적 시뮬레이션 환경에서 최신 기법들인 QMIX와의 비교를 통해 GUT 프레임워크의 성능을 평가하기 위해.
• 정보가 불완전한 상황에서의 예측 모델링이 시스템 성능과 의사결정의 강건성에 미치는 영향을 조사하기 위해.

제안 방법

• GUT는 고수준 전략을 실행 가능한 저수준 행동으로 분해함으로써 전략 공간 복잡도를 줄이기 위해 게임이론적 유용도 계산 단위의 계층적 트리로 구성된다.
• 유용도 함수는 에이전트의 생존, 에너지, 임무 성공 기대치에 기반한 수요 기반 계층 구조를 사용하며, 인간의 수요 피라미드와 유사하다.
• 에이전트별 수요와 시스템 수준 비용을 통합한 새로운 수익 측정 방식을 도입하여 협력 효율성과 성공 확률 간 균형 잡힌 평가가 가능해졌다.
• 베이지안 네트워크의 확률적 추론 원리, 게임 이론의 균형 추론 원리, 그리고 유용도 이론의 가치 기반 의사결정 원리를 융합한 접근 방식이다.
• 정보가 불완전한 상황에서 간접 관측 자료를 바탕으로 적대자 상태(예: 에너지 수준)를 추정하기 위해 선형 회귀와 다항 회귀 모델 두 가지 예측 모델을 사용하였다.
• 통제된 적대적 역학과 환경 장애물이 존재하는 '탐색(Explore)' 게임 도메인을 개발하여 시스템을 평가하였다.

실험 결과

연구 질문

• RQ1 기존 방법과 비교해 복잡한 적대적 환경에서 계층적 게임이론적 유용도 네트워크가 다중 에이전트 시스템 간 협력을 향상시킬 수 있는가?
• RQ2 에이전트 수요를 유용도 계층으로 모델링할 경우 시스템 수준의 성능과 의사결정의 강건성에 어떤 영향을 미치는가?
• RQ3 관측 가능한 비용(예: 체력, 에너지)을 기반으로 한 예측 모델이 정보가 불완전한 상황에서 의사결정 향상에 얼마나 기여하는가?
• RQ4 의도적 및 비의도적 적대자가 협력 다중 에이전트 작업에서 시스템 비용과 성공 확률에 동시에 어떤 영향을 미치는가?
• RQ5 GUT는 도전적이고 동적인 상황에서 QMIX보다 더 복잡하고 효율적인 협력 패턴을 가능하게 하는가?

주요 결과

• GUT는 정보가 불완전한 조건에서도 QMIX보다 더 높은 승리 비율을 기록하여 향상된 전략적 협력 조율 능력을 입증하였다.
• GUT는 라운드당 평균 체력 및 에너지 소비 측면에서 QMIX보다 유의미하게 낮은 시스템 비용을 기록하여 더 높은 효율성을 보였다.
• 정보가 불완전한 상황에서 선형 회귀 모델이 다항 회귀 모델보다 적대자 에너지 수준 예측 성능에서 뛰어나, 개별 성능 지표에서 실제값과 더 잘 일치함을 보였다.
• 비의도적 적대자(예: 산)의 존재는 승리 비율을 낮추고 시스템 비용을 증가시켰지만, GUT는 이러한 조건에서도 QMIX보다 더 뛰어난 성능을 유지하였다.
• 예측 모델의 파라미터는 시나리오 맥락에 따라 적응이 필요했으며, 이는 유용도 및 예측 함수를 정교화하기 위해 경험 기반 학습의 필요성을 시사한다.
• GUT는 개선된 그룹 수준 성과와 낮은 개별 및 시스템 비용을 통해 에이전트 간 더 복잡한 협력 관계를 가능하게 하였다.