[논문 리뷰] Inverse Reinforcement Learning in Swarm Systems

Adrian Šošić, Wasiur R. KhudaBukhsh외 2명|arXiv (Cornell University)|2017. 05. 08.

Reinforcement Learning in Robotics참고 문헌 34인용 수 29

한 줄 요약

이 논문은 대칭성에 기반해 다중 에이전트 IRL 문제를 단일 에이전트 문제로 축소함으로써, 균일한 대규모 군집 시스템에서의 역강화학습을 위한 새로운 프레임워크인 swarMDP를 소개한다. 이는 두 가지 테스트 시스템에서 관측된 전반적 군집 역학을 정확히 재현할 수 있도록 국소 보상 모델을 복원하는 비균일 학습 기법을 제안한다.

ABSTRACT

Inverse reinforcement learning (IRL) has become a useful tool for learning behavioral models from demonstration data. However, IRL remains mostly unexplored for multi-agent systems. In this paper, we show how the principle of IRL can be extended to homogeneous large-scale problems, inspired by the collective swarming behavior of natural systems. In particular, we make the following contributions to the field: 1) We introduce the swarMDP framework, a sub-class of decentralized partially observable Markov decision processes endowed with a swarm characterization. 2) Exploiting the inherent homogeneity of this framework, we reduce the resulting multi-agent IRL problem to a single-agent one by proving that the agent-specific value functions in this model coincide. 3) To solve the corresponding control problem, we propose a novel heterogeneous learning scheme that is particularly tailored to the swarm setting. Results on two example systems demonstrate that our framework is able to produce meaningful local reward models from which we can replicate the observed global system dynamics.

연구 동기 및 목표

• 다중 에이전트 및 군집 시스템에 대한 역강화학습(IRL) 응용의 부족을 해결하기 위해.
• 군집 특성에 맞는 특수화된 분산 부분관측 마르코프 결정과정(또는 POMDP) 하위 클래스를 체계화하기 위해.
• 대규모 군집에서의 에이전트 균일성을 활용해 다중 에이전트 IRL 문제를 단일 에이전트 IRL 문제로 축소하기 위해.
• 전역 시스템 행동을 복원할 수 있도록 국소 보상 함수를 복원할 수 있는, 군집 역학에 특화된 학습 기법을 설계하기 위해.
• 학습된 국소 보상 함수를 사용하여 관측된 전역 시스템 행동을 얼마나 잘 재현할 수 있는지 검증하기 위해.

제안 방법

• 균일한 다중 에이전트 시스템을 위한 군집 특성화가 체계화된 분산 POMDP의 하위 클래스인 swarMDP를 제안한다.
• 균일성 조건 하에서 swarMDP의 에이전트별 가치 함수가 동일하다는 것을 증명함으로써, 다중 에이전트 IRL 문제를 단일 에이전트 IRL 문제로 축소할 수 있음을 보여준다.
• 군집 환경에 특화된 비균일 학습 기법을 개발하여, 시연 데이터로부터 효율적인 정책 학습을 가능하게 한다.
• 시연 데이터를 활용해, 최적화 시 관측된 전역 시스템 역학을 재현할 수 있는 국소 보상 함수를 추론한다.
• 두 가지 예시 시스템에 프레임워크를 적용하여 의미 있는 국소 보상 함수의 복원 및 정확한 전역 행동 재현 능력을 검증한다.

실험 결과

연구 질문

• RQ1 대규모이고 균일한 다중 에이전트 시스템에서 집단 행동을 보이는 군집에 대해 역강화학습이 효과적으로 확장될 수 있는가?
• RQ2 군집 시스템의 대칭성과 균일성이 다중 에이전트 IRL 문제를 단일 에이전트 문제로 축소하는 데 얼마나 효과적으로 활용될 수 있는가?
• RQ3 맞춤형 학습 기법을 통해 관측된 전역 군집 역학을 정확히 재현할 수 있는 국소 보상 함수를 복원할 수 있는가?
• RQ4 제안된 프레임워크는 실세계를 모델링한 군집 시스템에서 국소 보상 모델로부터 어떻게 복잡한 전역 행동을 재현할 수 있는가?

주요 결과

• 균일성 조건 하에서 에이전트별 가치 함수가 동일하다는 것을 증명함으로써, 다중 에이전트 IRL 문제를 단일 에이전트 문제로 효과적으로 축소하는 데 성공했다.
• 제안된 비균일 학습 기법을 통해 전역 시연 데이터에서 국소 보상 추론에 집중함으로써 군집 시스템에서 효과적인 정책 학습이 가능해졌다.
• 두 예시 시스템 모두에서 학습된 국소 보상 모델이 관측된 전역 역학을 매우 높은 정밀도로 재현할 수 있었다.
• 결과적으로, 대규모이고 분산된 환경에서도 시연 데이터로부터 의미 있는 국소 보상 함수를 복원할 수 있음을 입증했다.