[논문 리뷰] Towards Efficient Detection and Optimal Response against Sophisticated Opponents

Tianpei Yang, Zhaopeng Meng외 4명|arXiv (Cornell University)|2018. 09. 12.

Reinforcement Learning in Robotics참고 문헌 15인용 수 4

한 줄 요약

이 논문은 이중 에이전트 경쟁 게임에서 정적, 비정적 또는 이전에 보지 못한 전략을 사용하는 고도로 정교한 상대방을 탐지하고 최적으로 대응하기 위해 베이지안 정책 재사용(Bayesian Policy Reuse)과 순환적 추론을 조합한 새로운 베이지안 마음 이론(Bayesian Theory of Mind) 프레임워크인 Bayes-ToMoP를 제안한다. 이는 이론적 최적성 보장을 제공하며, 딥 강화 학습을 통해 확장 가능하며, 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Multiagent algorithms often aim to accurately predict the behaviors of other agents and find a best response accordingly. Previous works usually assume an opponent uses a stationary strategy or randomly switches among several stationary ones. However, an opponent may exhibit more sophisticated behaviors by adopting more advanced reasoning strategies, e.g., using a Bayesian reasoning strategy. This paper proposes a novel approach called Bayes-ToMoP which can efficiently detect the strategy of opponents using either stationary or higher-level reasoning strategies. Bayes-ToMoP also supports the detection of previously unseen policies and learning a best-response policy accordingly. We provide a theoretical guarantee of the optimality on detecting the opponent's strategies. We also propose a deep version of Bayes-ToMoP by extending Bayes-ToMoP with DRL techniques. Experimental results show both Bayes-ToMoP and deep Bayes-ToMoP outperform the state-of-the-art approaches when faced with different types of opponents in two-agent competitive games.

연구 동기 및 목표

• 기존 방법이 상대방의 정적 전략 또는 무작위 전환 전략을 가정하는 데서 비롯하는 한계를 해결하기 위해, 더 정교한 추론 기반 상대방에 대응할 수 있도록 하기 위해.
• 경쟁적 다중에이전트 환경에서 비정적 및 고차원 추론 전략(예: 베이지안 추론)을 정확하게 탐지할 수 있도록 하기 위해.
• 이전에 보지 못한 상대 정책을 탐지하고 온라인으로 최적의 대응 전략을 학습할 수 있도록 하기 위해.
• 제안된 프레임워크 하에서 최적의 전략 탐지에 대한 이론적 보장을 제공하기 위해.
• 대규모 상태공간과 행동공간에 대응하기 위해 확장 가능한 딥 강화 학습 환경으로의 확장 가능성을 확보하기 위해.

제안 방법

• Bayes-ToMoP는 베이지안 정책 재사용(Bayesian Policy Reuse, BPR)과 마음 이론(Theory of Mind, ToM)을 통합하여 상대 전략에 대한 순환적 믿음을 모델링함으로써, 알려진 전략뿐 아니라 알려지지 않은 전략도 탐지할 수 있도록 한다.
• 관측된 신호(예: 보상)를 기반으로 정책 라이브러리에서 믿음을 업데이트하여 상대 전략에 대한 확률 분포를 추정한다.
• 이 프레임워크는 고차원 추론을 모델링하기 위해 순환적 내재 믿음을 활용하며, 예를 들어 상대가 에이전트의 믿음을 고려하여 행동하는 경우와 같은 ToM 기반 전략을 탐지할 수 있다.
• 새로운 관측치가 들어올수록 믿음 분포가 업데이트되는 방식으로 동적 전략 탐지를 지원하여 실시간 적응이 가능하다.
• 딥 변형인 deep Bayes-ToMoP는 표본 가치 함수를 신경망으로 대체하여 대규모 환경에 대한 확장성을 확보한다.
• 믿음의 불확실성에 기반해 탐지 민감도를 조정할 수 있는 신뢰도 메커니즘을 포함하여 전략 전환에 대한 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 다중에이전트 시스템은 단순한 정적 또는 전환 전략을 넘어서 베이지안 추론과 같은 고차원 추론 전략을 사용하는 상대방을 탐지하고 최적으로 대응할 수 있는가?
• RQ2 에이전트는 상대가 이전에 보지 못한 정책을 사용할 때 이를 탐지하고 사전 지식 없이 최적의 대응 전략을 학습할 수 있는가?
• RQ3 순환 믿음 모델링 하에서 전략 탐지의 최적성에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ4 ToM 추론과 BPR의 통합이 기존 방법에 비해 탐지 정확도와 대응 품질을 얼마나 향상시키는가?
• RQ5 이 프레임워크는 대규모, 연속 행동 공간 환경에 대응하기 위해 딥 강화 학습 환경으로 얼마나 잘 확장될 수 있는가?

주요 결과

• Bayes-ToMoP는 여러 이중 에이전트 경쟁 게임에서 표본 환경과 딥 러닝 환경 모두에서 BPR+, Bayes-Pepper, DRON, deep BPR+와 같은 최신 기술 수준의 방법들을 능가하는 성능을 보였다.
• 도둑과 사냥사, 축구 게임에서 ToM 기반 전략(OToMoP0 및 OToMoP0-s)을 사용하는 상대방과 대결했을 때, Bayes-ToMoP는 경쟁자들보다 평균 승률이 뚜렷이 높았다.
• Bayes-ToMoP는 이전에 보지 못한 정책으로의 전략 전환을 성공적으로 탐지하고 200 에피소드 이내에 최적의 대응 전략을 학습했으며, 고정된 정책 라이브러리에 의존하는 Bayes-Pepper는 전적으로 실패했다.
• 딥 변형인 deep Bayes-ToMoP는 새로운 정책을 학습하는 데서 deep BPR+와 동등하거나 그 이상의 성능을 보이며, 대규모 상태공간에 대한 확장성을 입증했다.
• DRON은 고정된 믹스처 오브 익스퍼트 아키텍처로 인해 뚜렷이 성능이 열등했으며(평균 보상 ≈ 0.7), 새로운 상대 전략에 적응하지 못했다.
• 이론적 분석을 통해 Bayes-ToMoP가 가정된 믿음 모델 하에서 상대 전략의 최적 탐지를 보장하며, 최적의 대응으로 수렴함을 확인했다.