[논문 리뷰] Robust Opponent Modeling via Adversarial Ensemble Reinforcement Learning in Asymmetric Imperfect-Information Games

Macheng Shen, Jonathan P. How|arXiv (Cornell University)|2019. 09. 18.

Reinforcement Learning in Robotics참고 문헌 30인용 수 9

한 줄 요약

이 논문은 비대칭 불완전정보 게임에서 주인공이 자기 플레이를 통해 상대의 비공개 유형을 추론해야 하는 상황에서 강력한 상대 모델링을 위한 적대적 앙상블 강화학습 프레임워크를 제안한다. 동일한 계산 예산 하에 표준 앙상블 학습에 비해, 정책 집합에 대한 메타 최적화를 통합함으로써, 예상치 못한 상대 유형에 대해 훨씬 향상된 강건성을 달성한다.

ABSTRACT

This paper presents an algorithmic framework for learning robust policies in asymmetric imperfect-information games, where the joint reward could depend on the uncertain opponent type (a private information known only to the opponent itself and its ally). In order to maximize the reward, the protagonist agent has to infer the opponent type through agent modeling. We use multiagent reinforcement learning (MARL) to learn opponent models through self-play, which captures the full strategy interaction and reasoning between agents. However, agent policies learned from self-play can suffer from mutual overfitting. Ensemble training methods can be used to improve the robustness of agent policy against different opponents, but it also significantly increases the computational overhead. In order to achieve a good trade-off between the robustness of the learned policy and the computation complexity, we propose to train a separate opponent policy against the protagonist agent for evaluation purposes. The reward achieved by this opponent is a noisy measure of the robustness of the protagonist agent policy due to the intrinsic stochastic nature of a reinforcement learner. To handle this stochasticity, we apply a stochastic optimization scheme to dynamically update the opponent ensemble to optimize an objective function that strikes a balance between robustness and computation complexity. We empirically show that, under the same limited computational budget, the proposed method results in more robust policy learning than standard ensemble training.

연구 동기 및 목표

• 주인공이 상대의 비공개 유형을 모른다는 조건에서 비대칭 불완전정보 게임에서의 의사결정 문제를 해결하기 위해.
• 사전 지식 없이 다양한 상대 유형으로 일반화되는 강건한 정책 학습 프레임워크를 개발하기 위해.
• 앙상블 집합에 대한 메타 최적화 전략을 도입하여 다중 에이전트 강화학습에서의 앙상블 학습 강건성을 향상시키기 위해.
• 전략 상호작용과 추론을 포괄하는 자기 플레이를 통해 효과적인 상대 모델링을 가능하게 하기 위해.
• 일般합 게임에서 정책 앙상블 설계의 강건성과 계산 효율성 간의 균형을 맞추기 위해.

제안 방법

• 자기 플레이를 통해 주인공과 상대 정책을 동시에 학습함으로써 동적 전략 상호작용을 포착하는 다중 에이전트 강화학습을 사용한다.
• 다양한 상대 행동에 대한 강건성을 높이기 위해 다수의 주인공 정책을 유지하는 앙상블 학습을 적용한다.
• 표준 앙상블 평균화에 의존하는 대신, 앙상블 집합에 대한 메타 최적화 목표를 도입하여 일반화 능력을 향상시킨다.
• 관측 가능 상태와 행동에서의 공동 관측을 기반으로 상대 유형을 추론하기 위해 믿음 전파와 관측 모델링을 활용하며, 분해 가능한 정책 가정을 사용한다.
• 물리적 상태 전이 모델과 공동 정책 하에서의 예상 관측 가능성 확률을 조합하는 재귀적 믿음 갱신 규칙을 유도한다.
• 예측된 관측과 실제 관측 간의 차이를 보정하기 위해 $\mathbb{E}_{\bm{a}^{t}\sim\bm{\pi}(\bar{\bm{o}}|\bm{h})}[\mathcal{P}^{O}(o^{t}_{i}|\bm{a}^{t},s^{t})]$의 기대 관측 확률을 사용한다.

실험 결과

연구 질문

• RQ1 비공개 유형이 알려져 있지 않은 비대칭 불완전정보 게임에서 주인공 에이전트는 어떻게 강건한 정책을 학습할 수 있는가?
• RQ2 메타 최적화를 도입한 앙상블 학습은 예상치 못한 상대 유형에 대한 강건성을 향상시킬 수 있는가?
• RQ3 메타 최적화를 통한 적대적 앙상블 학습이 비대칭 게임에서 정책 일반화에 미치는 영향은 무엇인가?
• RQ4 표준 앙상블 학습에 비해 제안된 방법은 강건성과 계산 효율성 측면에서 어떻게 비교되는가?
• RQ5 자기 플레이와 믿음 기반 추론은 일반합 비대칭 게임에서 상대 모델링을 얼마나 향상시킬 수 있는가?

주요 결과

• 제안된 앙상블 집합에 대한 메타 최적화는 표준 앙상블 학습에 비해 예상치 못한 상대 유형에 대한 강건성을 크게 향상시킨다.
• 동일한 계산 예산 하에 더 나은 일반화 성능를 달성하여, 비대칭 불완전정보 게임에서 뛰어난 강건성을 입증한다.
• 예상 관측과 정책 모델링에 기반한 믿음 갱신은 공동 관측과 행동에서 상대 유형을 정확히 추론하는 데 기여한다.
• 재귀적 믿음 갱신 규칙은 물리적 상태 분포를 효과적으로 전파하면서도 관측 가능성 확률을 사용해 유형 믿음을 보정한다.
• 분해 가능한 정책 가정 $\pi_{j}(o^{t}_{j}|h_{j})$ 덕분에 순환적 또는 믿음 기반 정책이 필요 없이도 실현 가능한 공동 정책 모델링이 가능하다.
• 실험 결과는 적대적 앙상블 방법이 다양한 상대 정책 프로파일에서 기준 앙상블 방법에 비해 강건성 측면에서 뛰어나다는 것을 보여준다.