[논문 리뷰] Deep Decentralized Multi-task Multi-Agent RL under Partial Observability

Shayegan Omidshafiei, Jason Pazis외 3명|arXiv (Cornell University)|2017. 03. 17.

Reinforcement Learning in Robotics인용 수 17

한 줄 요약

이 논문은 부분 관찰 환경에서 작업 정체성을 요구하지 않고도 여러 작업 간에 강건한 성능을 달성할 수 있도록, 전문화된 단일 작업 정책에서 통합 정책으로 지식을 희석시키는 분산형 다중 작업 다에이gent 강화 학습 프레임워크를 제안한다. 이는 동료 에이전트의 탐색으로 인한 부분 관찰성과 비정상성 문제를 해결하기 위해 새로운 희석 기법을 도입하여, 다에이gent 및 부분 관찰 환경에서 강력한 일반화 성능을 달성한다.

ABSTRACT

Many real-world tasks involve multiple agents with partial observability and limited communication. Learning is challenging in these settings due to local viewpoints of agents, which perceive the world as non-stationary due to concurrently-exploring teammates. Approaches that learn specialized policies for individual tasks face major problems when applied to the real world: not only do agents have to learn and store a distinct policy for each task, but in practice the identity of the task is often non-observable, making these algorithms inapplicable. This paper formalizes and addresses the problem of multi-task multi-agent reinforcement learning under partial observability. We introduce a decentralized single-task learning approach that is robust to concurrent interactions of teammates, and present an approach for distilling single-task policies into a unified policy that performs well across multiple related tasks, without explicit provision of task identity.

연구 동기 및 목표

• 에이전트가 제한된 인지 능력을 지닌 부분 관찰 환경에서 동료 에이전트의 동시 탐색으로 인해 발생하는 비정상성 문제를 해결하면서, 다중 작업 다에이gent 강화 학습의 과제를 해결한다.
• 기존 방법들이 명시적인 작업 정체성과 각 작업별 별도 정책 저장을 요구하는 데서 비롯되는 한계를 극복하며, 실세계 환경에서는 비현실적인 정책 관리 방식을 피한다.
• 여러 관련 작업 간에 일반화할 수 있는 단일 통합 정책을 학습할 수 있도록 분산형 학습 프레임워크를 개발한다.
• 공동 탐색으로 인한 동시성 상호작용과 국소 관측에 대한 강건성을 확보하기 위해, 공유 정책 내에서 작업별 행동을 유지하는 희석 과정을 설계한다.

제안 방법

• 부분 관찰 조건 하에서 특정 작업을 위해 전문화된 정책을 학습하는 분산형 단일 작업 학습 방법을 제안한다.
• 추론 시 작업 정체성이 필요 없이 개별 단일 작업 정책에서 통합 다중 작업 정책으로 지식을 전이하는 희석 기법을 설계한다.
• 학습 중에는 작업별 헤드를 갖춘 공유 정책 네트워크를 사용하며, 희석 과정에서 이들을 잘라내거나 병합하여 단일 일반화 가능한 정책을 형성한다.
• 희석 과정에서 작업별 행동을 유지하면서 정책의 간결성과 분산성을 유지하기 위해 대조 학습 목표를 적용한다.
• 최종 통합 정책이 분산 방식으로 학습되고 배포 가능하도록 보장하며, 각 에이전트가 전역 작업 정보 없이 자신의 관측 기반으로 행동할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 다에이gent 및 부분 관찰 환경에서 명시적인 작업 정체성이 없이도 다수의 관련 작업에 대해 효과적으로 수행할 수 있는 단일 통합 정책을 효과적으로 학습할 수 있는가?
• RQ2 제안된 희석 방법은 다양한 작업 간 일반화를 가능하게 하면서도, 어떻게 작업별 행동을 유지하는가?
• RQ3 분산형 단일 작업 학습 접근법은 동료 에이전트의 동시 탐색으로 인한 비정상성 문제를 어느 정도 완화하는가?
• RQ4 특정 작업별로 별도로 학습된 정책과 비교할 때, 통합 정책은 부분 관찰 조건 하에서 성능와 강건성 측면에서 어떤가?

주요 결과

• 희석된 통합 정책는 작업 정체성이 없이도 전문화된 단일 작업 정책와 유사한 성능을 달성하여, 작업 정체성이 없는 환경에서도 효과적인 일반화를 입증한다.
• 다양한 정책를 저장하고 관리할 필요가 크게 줄어들어, 실세계의 다중 작업 환경에서의 확장 가능한 배포를 가능하게 한다.
• 동료 에이전트의 동시 탐색으로 인한 비정상성에 대해 뛰어난 강건성을 보이며, 안정적인 학습과 성능 유지를 유지한다.
• 예상치 못한 작업 조합에 대해서도 잘 일반화되어, 관련 작업 간 이동성과 적응성의 강도를 보여준다.