[논문 리뷰] Survey of Self-Play in Reinforcement Learning

Anthony DiGiovanni, Ethan Zell|arXiv (Cornell University)|2021. 07. 06.

Game Theory and Applications참고 문헌 19인용 수 4

한 줄 요약

이 종합 검토는 강화학습에서의 자가대결(self-play)을 종합적으로 분석하며, 이론적 기초, 평가 기준, 알고리즘적 접근 방식을 다룬다. 본 논문은 파레토 효율성과 에그랄리티안 협상 해법(egalitarian bargaining solutions, EBS)을 우수하지만 아직 탐색이 부족한 기준으로 지목하며, FCL이라는 새로운 알고리즘을 제안한다. 이 알고리즘은 협력적 탐색과 배신에 대한 징벌 메커니즘을 통해 자가대결 호환성을 보장한다.

ABSTRACT

In reinforcement learning (RL), the term self-play describes a kind of multi-agent learning (MAL) that deploys an algorithm against copies of itself to test compatibility in various stochastic environments. As is typical in MAL, the literature draws heavily from well-established concepts in classical game theory and so this survey quickly reviews some fundamental concepts. In what follows, we present a brief survey of self-play literature, its major themes, criteria, and techniques, and then conclude with an assessment of current shortfalls of the literature as well as suggestions for future directions.

연구 동기 및 목표

• 자기대결을 통한 다중 에이전트 강화학습에서 '최적성'을 정의하는 데 있어 이론적 및 실용적 과제를 명확히 하기 위해.
• 자기대결 프레임워크 내에서 나시 균형, 파레토 효율성, 에그랄리티안 협상 해법과 같은 경쟁적 성능 기준을 평가하기 위해.
• 알고리즘이 자기 복제체와의 호환성을 유지하면서도 보상 함수에 대한 불확실성 하에 비자기 에이전트에 적응하는 방식을 분석하기 위해.
• 유한 시간 보장, 회귀 한계, 악성 또는 이질적인 플레이어에 대한 강건성과 같은 열린 문제를 규명하기 위해.
• 모르는 또는 확률적인 환경에서의 오랜 기간 협력과 오용 방지를 보장하는 인센티브 안정 알고리즘의 설계를 탐색하기 위해.

제안 방법

• 자기대결을 모델링하기 위한 공식적 프레임워크로 마르코프 게임(Markov games)을 사용하며, 다중 에이전트와 확률적 전이 및 보상이 포함된 MDP를 확장한다.
• 세 구성 요소의 행동가치 추정 체계를 제안한다: $Q^c$ (EBS를 위한 집단 보상), $Q^r_j$ (배신한 플레이어에 대한 징벌), $Q^d_j$ (배신 수익), 이는 비협력적 행동에 대한 전략적 대응을 가능하게 한다.
• 자기 복제체 간의 조율된 탐색을 통해 $Q^c$, $Q^r_j$, $Q^d_j$의 정확한 추정을 보장하여, 탐색을 배신으로 오해하는 것을 방지한다.
• 오류 없는 협력 학습(Foolproof Cooperative Learning, FCL) 알고리즘을 도입하며, 이는 대체 보상 함수를 사용해 에그랄리티안 협상 해법(EBS)을 강제하고 신뢰할 수 있는 징벌을 통해 배신을 억제한다.
• 초기 동역학이 알려지지 않은 환경에서 탐색과 보상 극대화를 균형 있게 유지하기 위해 구조화된 탐색 스케줄을 적용한 Q-러닝을 사용한다.
• 나시 균형, 파레토 효율성, EBS와 같은 게임 이론적 개념을 활용해 알고리즘 성능과 안정성을 평가한다.

실험 결과

연구 질문

• RQ1 어느 정도의 자가대결 형식 모델이 이론적으로 다루기 쉬운가? 수렴성을 확립하는 데 일반적으로 사용되는 증명 기법은 무엇인가?
• RQ2 나시 균형, 파레토 효율성, 에그랄리티안 협상 해법과 같은 다양한 평가 기준은 실용적 바람직성과 이론적 실현 가능성 측면에서 어떻게 비교되는가?
• RQ3 자기대결 호환성을 유지하면서도 악성 및 확률적 비자기 플레이어에 대해 안전성과 최적성을 보장할 수 있는 알고리즘은 어떻게 설계될 수 있는가?
• RQ4 자기대결에서 더 높은 수준의 공정성과 효율성 기준을 달성하기 위한 이론적·계산적 트레이드오프는 무엇인가? 예를 들어 EBS와 단순 나시 균형의 비교.
• RQ5 목표적 적대자나 충돌하는 협력 전략을 탐지하고 대응하여 파괴적인 징벌 루프를 피할 수 있는 알고리즘의 설계 방법은 무엇인가?

주요 결과

• 문헌 분석 결과, 성능 기준에 있어 상당한 이질성이 드러나며, 단순히 어떤 나시 균형으로 수렴하는 것보다 파레토 효율성과 에그랄리티안 협상 해법(EBS)이 더 바람직하지만 달성하기 어렵다.
• 유한 시간 보장, 특히 회귀 한계는 자기대결 알고리즘에서 거의 부재하며, 기존의 한계도 비자기 플레이어에 대해 높은 성능을 보장하지 못한다.
• FCL 알고리즘은 세 가지 행동가치 추정치를 유지함으로써 학습 균형(Learning Equilibrium)을 달성한다: $Q^c$는 EBS를 위한 것이며, $Q^r_j$는 징벌을 위한 것이며, $Q^d_j$는 배신 유인을 위한 것이다. 이는 배신에 대한 신뢰할 수 있는 억제를 가능하게 한다.
• 자기 복제체 간의 조율된 탐색은 $Q^c$, $Q^r_j$, $Q^d_j$의 정확한 추정을 보장하여, 배신 탐지 시 거짓 긍정을 방지하고 진정된 EBS 정책으로의 수렴을 가능하게 한다.
• 실험적 성공에도 불구하고 M-Qubed는 자기대결 효율성과 비자기 에이전트에 대한 적응성 간 균형을 이론적으로 보장하지 못하므로, 복잡하거나 단기 목표 환경에서의 강건성에 대한 우려를 제기한다.
• 두 FCL 에이전트가 서로 다른 협력 이상을 추구할 경우 상호 징벌 루프가 발생할 수 있으며, 이는 최적 성과를 이룰 수 없게 하므로, 이러한 상황을 탐지하고 회피하기 위한 추가 기준이 필요함을 시사한다.