[논문 리뷰] Multi-Agent Policy Transfer via Task Relationship Modeling

Rongjun Qin, Feng Chen외 6명|arXiv (Cornell University)|2022. 03. 09.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 다중 에이전트 강화 학습 프레임워크인 MATTAR를 제안하며, 효과 기반 작업 표현을 통해 작업 간 관계를 모델링하여 협동 작업 간에 효율적인 정책 전이를 가능하게 한다. 초반에 학습된 몇몇 소스 작업들로부터 공유된, 작업 관계를 고려한 표현 공간을 하이퍼넷워크와 번갈아가며 고정 학습하는 방식으로, MATTAR는 새로운 작업에 대해 높은 성공률로 지식을 전이하며, 베이스라인을 능가하고 새로운 작업에서 효과적인 피니팅을 가능하게 한다.

ABSTRACT

Team adaptation to new cooperative tasks is a hallmark of human intelligence, which has yet to be fully realized in learning agents. Previous work on multi-agent transfer learning accommodate teams of different sizes, heavily relying on the generalization ability of neural networks for adapting to unseen tasks. We believe that the relationship among tasks provides the key information for policy adaptation. In this paper, we try to discover and exploit common structures among tasks for more efficient transfer, and propose to learn effect-based task representations as a common space of tasks, using an alternatively fixed training scheme. We demonstrate that the task representation can capture the relationship among tasks, and can generalize to unseen tasks. As a result, the proposed method can help transfer learned cooperation knowledge to new tasks after training on a few source tasks. We also find that fine-tuning the transferred policies help solve tasks that are hard to learn from scratch.

연구 동기 및 목표

• 에이전트 수와 입력 길이가 다양한 다중 에이전트 작업 간 협동 정책을 전이하는 데 도전하는 것.
• 작업 간 유사성과 차이를 명시적으로 모델링함으로써 전이 효율을 향상시키기 위한 작업 표현을 통한 것.
• 작업 전용 재학습 없이 소스 작업 몇 개만을 사용하여 미리보지 않은 작업으로 지식 전이를 가능하게 하는 것.
• 신경망의 인덕티브 바이어스에만 의존하는 방법보다 더 잘 일반화되는 통합된 다중 에이전트 전이 학습 프레임워크를 제공하는 것.

제안 방법

• 현재 상태, 행동, 관측값으로부터 다음 상태, 관측값, 보상을 예측하는 전방 모델을 사용하여 효과 기반 작업 표현을 학습한다.
• 작업별 표현에 조건부로 전방 모델의 파라미터를 생성하는 공유된 하이퍼넷워크(표현 해설자)를 통해 작업 간 파라미터 공유를 가능하게 한다.
• 대안-고정 학습 방식은 학습 중에 작업 표현을 정규 직교 벡터로 고정하고 표현 해설자를 업데이트한 후, 해설자를 고정하고 추론 시 새로운 작업 표현을 피팅하는 방식이다.
• 정책은 작업 표현에 조건부로 설계되며, 팀의 크기와 입력 길이에 영향을 받지 않도록 하여 다양한 팀 크기에 적응할 수 있도록 한다.
• 미리보지 않은 작업의 경우, 고정된 전방 모델을 통해 역전파하면서 소스 작업 표현의 선형 조합으로 표현을 학습한다.
• 표현 능력과 일반화 능력을 향상시키기 위해 인구 크기 불변 아키텍처와 자기어텐션을 통합한다.

실험 결과

연구 질문

• RQ1 신경망 일반화를 넘어서 다중 에이전트 정책 전이를 향상시키기 위해 작업 간 관계를 효과적으로 모델링할 수 있는가?
• RQ2 공유된 표현 공간이 다양한 협동 다중 에이전트 작업 간 유사성과 차이를 모두 포착할 수 있는가?
• RQ3 소스 작업 표현의 선형 조합으로서의 작업 표현을 학습하는 것이 새로운 작업으로의 효과적인 전이를 가능하게 하는가?
• RQ4 전이된 정책을 피팅하는 것이 새로운 작업에서 처음부터 학습하는 것보다 더 나은 성능을 내는가?
• RQ5 단일 작업 학습 대비 여러 소스 작업을 동시에 학습함으로써 전이 성능이 향상되는가?

주요 결과

• MATTAR는 QMIX와 QPLEX와 같은 최첨단 베이스라인보다 뚜렷이 높은 성공률로 새로운 협동 작업에서 뛰어난 성능을 달성하며, 특히 MMM2와 같은 도전적인 맵에서 두각을 나타낸다.
• 전이된 정책을 새로운 작업에서 피팅함으로써 처음부터 학습하는 것보다 더 높은 성능을 달성함으로써, 작업 표현이 강력한 정책 초기화를 제공한다는 점을 입증한다.
• 단일 작업 학습 알고리즘조차도 MATTAR가 개선된 표현 능력을 지닌다는 점을 고려할 때, 성능이 뛰어나다.
• 학습된 소스 작업 표현의 선형 조합은 일반적으로 가장 유사한 소스 작업에 가장 높은 계수를 가지며, 이는 모델이 의미 있는 작업 간 관계를 포착하고 있음을 확인한다.
• 10m_vs_12m와 같은 경우, 여러 소스 작업(예: 5m 및 10m_vs_11m)이 유의미하게 기여함을 보여, MATTAR가 다수의 소스로부터 혼합된 정책 지식을 학습할 수 있음을 시사한다.
• SMAC 벤치마크에서 MATTAR는 베이스라인과 유사한 성능을 보이며, 다양한 협동 환경에서의 강건성을 입증한다.