[논문 리뷰] Opponent Modeling in Deep Reinforcement Learning

He He, Jordan Boyd‐Graber외 2명|arXiv (Cornell University)|2016. 09. 18.

Reinforcement Learning in Robotics참고 문헌 18인용 수 108

한 줄 요약

이 논문은 DRON (Deep Reinforcement Opponent Network)을 도입하고, 정책과 상대방 행동을 함께 학습하는 두 가지 아키텍처를 제시하며, 멀티 에이전트 강화학습에서 비정상적인 상대를 다루는 동시에 soccer와 Quiz Bowl에서 DQN 베이스라인보다 우수한 성능을 보이고, 다중태스크 감독 및 상대 전략에 대한 Mixture-of-Experts를 탐구한다.

ABSTRACT

Opponent modeling is necessary in multi-agent settings where secondary agents with competing goals also adapt their strategies, yet it remains challenging because strategies interact with each other and change. Most previous work focuses on developing probabilistic models or parameterized strategies for specific applications. Inspired by the recent success of deep reinforcement learning, we present neural-based models that jointly learn a policy and the behavior of opponents. Instead of explicitly predicting the opponent's action, we encode observation of the opponents into a deep Q-Network (DQN); however, we retain explicit modeling (if desired) using multitasking. By using a Mixture-of-Experts architecture, our model automatically discovers different strategy patterns of opponents without extra supervision. We evaluate our models on a simulated soccer game and a popular trivia game, showing superior performance over DQN and its variants.

연구 동기 및 목표

• 도메인 지식에 의존하지 않는 일반적인 상대 모델링 프레임워크를 강화학습에서 제시한다.
• 비정상적 전략을 다루기 위해 정책과 상대방 행동의 확률적 모델을 함께 학습한다.
• 다중 작업 감독을 포함하여 상대 표현과 Q-learning을 결합한 아키텍처를 탐구한다.
• 두 가지 과제에서 다양한 상대에 대해 강인성과 성능을 평가한다 (soccer와 Quiz Bowl).

제안 방법

• DRON, 상대방 행동을 모델링하기 위해 상대 네트워크를 함께 학습하는 Deep Q-Network를 제안한다.
• 두 아키텍처 dron-concat과 dron-moE를 비교한다. dron-concat은 상태와 상대 표현을 연결하여 Q-values를 예측하고, dron-moE는 Mixture-of-Experts를 사용하여 상대 전략에 대해 주변화한다.
• 선택적으로 다중 작업 감독을 적용하여 상대에 대한 직접적 정보를 제공하고(h^o 형태의 상대 표현을 형성), 이를 통해 상대 표현을 형성한다.
• 상대 정책을 고려하기 위해 Q^{π|π^o}를 모델링하고 상대 정보를 도입하여 Q-learning 업데이트를 확장한다.
• 두 가지 과제: 격자 기반의 2인 축구 게임과 Quiz Bowl 질문-응답 게임에서 평가하고, DQN 베이스라인(dqn-world 및 dqn-self)과 비교한다.
• dron-moE의 전문가 수(K)와 다중 작업 감독이 성능에 미치는 영향을 조사한다.

실험 결과

연구 질문

• RQ1 DRL에서 학습된 암묵적 상대 표현이 적응형 상대에 대한 정책 개선에 기여하는가?
• RQ2 dron-concat과 dron-moE가 표준 DQN보다 상대 전략 변화를 더 잘 포착하는가?
• RQ3 상대에 대한 다중 작업 감독이 robust한 정책 학습에 추가적 이점을 제공하는가?
• RQ4 다양하고 비정상적인 상대에 대해 DRON 모델이 서로 다른 작업에서 어떤 성능을 보이는가?
• RQ5 다중 작업 감독이 DRON-MoE의 성능에 미치는 영향은 작업 간 차이가 있는가?

주요 결과

• DRON 변형들은 soccer와 quiz bowl에서 DQN 베이스라인보다 우수한 성능을 보인다.
• dron-concat은 상대 관련 감독 보강 시 강력한 성능을 보이고, dron-moE는 상대 전략에 대한 전문가 특화로 인해 여러 상대 전략에 대해 강건성을 보여준다.
• 적절한 수의 전문가를 가진 dron-moE가 대개 최상의 결과나 거의 최상의 결과를 달성하고 DQN에 비해 학습 변동성을 줄인다.
• 다중 작업 감독은 일부 설정에서 도움이 될 수 있지만(예: Quiz Bowl의 상대 유형), 모든 DRON 변형의 성능을 항상 향상시키지는 않을 수 있다(예: 행동 감독은 항상 이익이 되지 않음).
• DQN-world(상대를 세계의 일부로 다루는 방식)은 혼합된 상대 행동에 대해 어려움을 겪는 반면, DRON은 공격적이면서도 신중한 상대들 사이에서 더 나은 절충안을 제공한다.
• Quiz Bowl에서 dron-moE가 dron-concat보다 우수하며, 전문가 수를 늘리면 성능이 향상되고, 더 많은 전문가를 사용할 때 상대 유형 감독이 특히 도움이 된다.
• 전반적으로 DRON은 비정상적인 상대에 대한 강인성을 향상시키고 도메인 특화 상대 모델 없이 적응적 대응을 학습할 수 있다.