[논문 리뷰] A Deep Policy Inference Q-Network for Multi-Agent Systems

Zhang-Wei Hong, Shih-Yang Su외 3명|arXiv (Cornell University)|2017. 12. 21.

Reinforcement Learning in Robotics참고 문헌 33인용 수 42

한 줄 요약

이 논문은 원시 관측값에서 협력자와 경쟁자에 대한 정책 특징을 추론하고, 이를 은닉 벡터로 통합함으로써 Q-값 예측을 향상시켜 다중 에이전트 강화학습을 개선하는 DPIQN이라는 딥 Q-네트워크를 제안한다. 모델은 1v1 및 2v2 축구 환경에서 DQN과 DRQN을 능가하며, 특히 정책 변화가 동적으로 발생하는 상황에서 뛰어난 안정성과 일반화 성능을 보인다. DRPIQN은 비정상적인 환경에서 특히 뛰어난 성능을 발휘한다.

ABSTRACT

We present DPIQN, a deep policy inference Q-network that targets multi-agent systems composed of controllable agents, collaborators, and opponents that interact with each other. We focus on one challenging issue in such systems---modeling agents with varying strategies---and propose to employ "policy features" learned from raw observations (e.g., raw images) of collaborators and opponents by inferring their policies. DPIQN incorporates the learned policy features as a hidden vector into its own deep Q-network (DQN), such that it is able to predict better Q values for the controllable agents than the state-of-the-art deep reinforcement learning models. We further propose an enhanced version of DPIQN, called deep recurrent policy inference Q-network (DRPIQN), for handling partial observability. Both DPIQN and DRPIQN are trained by an adaptive training procedure, which adjusts the network's attention to learn the policy features and its own Q-values at different phases of the training process. We present a comprehensive analysis of DPIQN and DRPIQN, and highlight their effectiveness and generalizability in various multi-agent settings. Our models are evaluated in a classic soccer game involving both competitive and collaborative scenarios. Experimental results performed on 1 vs. 1 and 2 vs. 2 games show that DPIQN and DRPIQN demonstrate superior performance to the baseline DQN and deep recurrent Q-network (DRQN) models. We also explore scenarios in which collaborators or opponents dynamically change their policies, and show that DPIQN and DRPIQN do lead to better overall performance in terms of stability and mean scores.

연구 동기 및 목표

• 정책 변화가 동적으로 발생할 수 있는 비정상적인 다중 에이전트 시스템(MAS)에서 다양한 전략을 가진 에이전트를 모델링하는 데 도전한다.
• 기존 방법들이 에이전트 구조에 대한 사전 지식이나 규칙 기반 가정에 의존하는 데서 비롯되는 한계를 극복하며, 현실 세계의 상황에서는 이들이 비현실적임을 고려한다.
• 내부 에이전트 로직에 접근할 수 없더라도 이미지와 같은 원시 관측값만을 사용하여 제어 가능한 에이전트가 효과적인 정책을 학습할 수 있도록 한다.
• 정책 특징 학습을 Q-값 학습 이전에 우선시하는 적응형 손실 함수를 통해 다중 에이전트 환경에서의 학습 안정성과 수렴 속도를 향상시킨다.
• 시험 중 협력자나 경쟁자가 예측할 수 없게 전략을 변경하는 상황과 같은 새로운 시나리오에서 모델의 일반화 능력을 입증한다.

제안 방법

• DQN 기반의 깊이 있는 정책 추론 Q-네트워크(DPIQN)를 설계하며, 세 가지 구성 요소로 구성된다: 특징 추출 모듈, Q-값 학습 모듈, 보조 정책 특징 학습 모듈.
• 협력자와 경쟁자의 원시 관측값(예: 이미지)에서 별도의 네트워크 브런치를 사용해 정책 특징을 학습하고, 이를 메인 DQN에 은닉 벡터로 통합한다.
• Q-값 손실 $L^Q$와 정책 추론 손실 $L^{PI}$를 조합한 적응형 손실 함수를 도입하며, 학습 중에 정책 특징 학습에서 Q-값 학습으로 초점을 이동시키는 동적 가중 계수 $\lambda$를 사용한다.
• 지연되거나 불완전한 관측이 발생하는 환경에서 부분 관측 문제를 다루기 위해 LSTM을 통합하여 DPIQN을 DRPIQN으로 확장한다.
• 정책 특징 학습과 Q-값 최적화 간의 주의를 조정하는 적응형 절차를 통해 학습 안정성과 수렴 성능을 향상시킨다.
• 표현 학습에서 보조 작업을 사용하여 특징 공간을 풍부하게 하여, 비정상적인 협력자와 경쟁자를 더 잘 모델링할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 다중 에이전트 시스템에서 원시 관측값(예: 이미지)에서 협력자와 경쟁자의 정책 특징을 효과적으로 추론하고 활용할 수 있는가?
• RQ2 학습된 정책 특징을 은닉 벡터로 통합함으로써 표준 DQN 및 DRQN에 비해 Q-값 예측과 전체 에이전트 성능이 어떻게 향상되는가?
• RQ3 DPIQN과 DRPIQN은 협력자나 경쟁자가 시험 중에 정책을 동적으로 변경하는 상황에서 얼마나 잘 일반화되는가?
• RQ4 제안된 적응형 손실 함수는 다중 에이전트 강화학습 환경에서 학습 안정성과 수렴 속도를 향상시키는가?
• RQ5 비반복적인 DPIQN에 비해 반복적 변형인 DRPIQN은 부분 관측 조건에서 어떻게 성능을 발휘하는가?

주요 결과

• 1v1 시나리오에서 DPIQN은 낯선 상대와의 대결에서 평균 보상 0.909를 기록했고, DRPIQN은 0.947을 기록하여 기준선 DQN과 DRQN을 크게 앞섰다.
• 2v2 시나리오에서 DPIQN과 DRPIQN은 모든 테스트 케이스에서 뛰어난 성능 유지를 보였으며, DRPIQN(O)는 낯선 상대 설정에서 DQN 대비 평균 보상 비율 1.36배를 기록했다.
• 적응형 손실 함수 덕분에 DRPIQN은 Q-값 손실 $L^Q$의 변동을 줄이며 더 뛰어난 안정성과 더 빠른 수렴을 보였다.
• 제거 실험을 통해 정책 추론 손실 $L^{PI}$와 동적 가중 계수 $\lambda$가 모두 필수적임을 확인했으며, 둘 다 포함된 모델은 더 빠르게 수렴하고 손실 변동이 적었다.
• 익명의 에이전트와 협력할 경우, DPIQN과 DRPIQN 에이전트는 협력자의 의도를 알지 못함에도 불구하고 독립적으로 더 많은 골을 기록하여 뛰어난 내재적 탄력성을 보였다.
• 모델은 정책 변화가 예측 불가능하게 발생하는 상황(매 4~10 타임스텝마다)에서도 높은 평균 점수와 안정성을 유지했으며, 모든 테스트 케이스에서 기준선을 능가했다.