[논문 리뷰] Learning to Gather without Communication

El Mahdi El Mhamdi, Rachid Guerraoui외 2명|arXiv (Cornell University)|2018. 02. 21.

Reinforcement Learning in Robotics참고 문헌 39인용 수 3

한 줄 요약

이 논문은 다중 에이전트 시스템이 분산 강화학습을 사용하여 통신 없이도 수집 행동을 학습할 수 있다는 최초의 실험적 증거를 제시한다. 1차원 고리 구조에 위치한 에이전트들은 상태 근사 기법을 사용한 Q-학습을 통해 최적의 수집 행동을 학습하며, 빠르고 강건하며 확장 가능한 수렴을 달성한다—최대 90%의 에이전트 손실에도 견딜 수 있으며, 동일한 인지 제약 조건 하에서 결정론적 알고리즘을 맞추거나 능가한다.

ABSTRACT

A standard belief on emerging collective behavior is that it emerges from simple individual rules. Most of the mathematical research on such collective behavior starts from imperative individual rules, like always go to the center. But how could an (optimal) individual rule emerge during a short period within the group lifetime, especially if communication is not available. We argue that such rules can actually emerge in a group in a short span of time via collective (multi-agent) reinforcement learning, i.e learning via rewards and punishments. We consider the gathering problem: several agents (social animals, swarming robots...) must gather around a same position, which is not determined in advance. They must do so without communication on their planned decision, just by looking at the position of other agents. We present the first experimental evidence that a gathering behavior can be learned without communication in a partially observable environment. The learned behavior has the same properties as a self-stabilizing distributed algorithm, as processes can gather from any initial state (and thus tolerate any transient failure). Besides, we show that it is possible to tolerate the brutal loss of up to 90\% of agents without significant impact on the behavior.

연구 동기 및 목표

• 에이전트가 분산형, 통신 없이 강화학습을 사용하여 수집 행동을 학습할 수 있는지 조사한다.
• 에이전트 수가 증가함에 따라 상태 공간의 조합 폭발 문제를 해결하면서도 효과적인 확장 가능한 학습 프레임워크를 설계한다.
• 높은 에이전트 손실(최대 90%) 상황에서도 학습된 행동의 강건성을 평가한다.
• 유사한 인지 제약 조건 하에서 학습된 행동의 성능을 제약된 결정론적 알고리즘(Q-결정론적)과 비교한다.
• 재학습 없이도 다양한 그룹 규모(예: 10에서 100명의 에이전트)로 학습 정책의 이식 가능성을 입증한다.

제안 방법

• 에이전트들은 그룹의 유대감을 위한 보상과 고립에 대한 벌점을 기반으로 보상에 기반한 최적 행동을 학습하기 위해 Q-학습과 유인 추적 기법을 사용한다.
• 상태 근사 기법을 통해 가까운 거리의 에이전트들을 군집으로 묶어 효과적인 상태 공간을 줄이며, 에이전트 수와 무관하게 확장 가능성을 확보한다.
• 각 에이전트는 이산적인 섹터 내에서 다른 에이전트의 상대적 위치만 인지하며, 제한된 감각 인지 환경을 시뮬레이션한다.
• 행동 공간은 이산화되어 있으며, 에이전트는 학습된 Q-값에 기반해 이동 행동(예: 왼쪽, 오른쪽, 멈춤)을 선택한다.
• 학습 과정은 완전히 분산되어 있으며, 에이전트 간 중앙 집중적 조율이나 통신이 발생하지 않는다.
• 정확한 비교를 위해 Q-결정론적 기준선은 동일한 인지 제약 조건 하에서 알려진 결정론적 무게중심 알고리즘의 궤적을 기반으로 Q-값을 계산하여 생성된다.

실험 결과

연구 질문

• RQ1 지역적 보상과 벌점만을 사용하여 통신 없이도 에이전트가 수집 행동을 학습할 수 있는가?
• RQ2 재학습 없이도 상당히 큰 그룹(예: 100명의 에이전트)으로 확장할 경우 학습된 정책이 성능과 안정성을 유지할 수 있는가?
• RQ3 유사한 인지 및 행동 제약 조건 하에서 학습된 행동의 성능은 결정론적 알고리즘과 어떻게 비교되는가?
• RQ4 최대 90%의 에이전트가 손실되는 심각한 고장 상황에서도 학습된 행동이 얼마나 견딜 수 있는가?
• RQ5 감지 근사 기법(예: 군집화)이 고차원 또는 대규모 다중 에이전트 시스템에서 학습 효율성과 정확성을 유지하는 데 기여하는가?

주요 결과

• 13노드 고리에서 무작위 초기 위치에서 평균 5단계 내에 에이전트들이 수집 행동을 학습하였으며, 이후 높은 유대감을 유지하였다.
• 학습된 정책은 재학습 없이도 100명의 에이전트로 직접 일반화되었으며, 평균 수집 시간은 10단계, 최악의 경우는 50단계 미만을 기록하였다.
• 학습된 행동은 Q-결정론적 기준선을 능가하여 이웃 밀도 측면에서 더 우수한 성능을 보였다: 평균 최대 이웃 수는 87%로 기록(기준선 80%)이며, 평균 최소 이웃 수는 40%로 기록(기준선 28%).
• 시스템은 높은 장애 내성 특성을 보였으며, 최대 90%의 에이전트 손실 이후에도 효과적인 수집을 유지하였다.
• 학습된 행동의 수집 시간 표준편차는 5.1로 Q-결정론적 알고리즘(4.9)보다 略로 높았지만, 핵심 지표에서 전체적으로 유사하거나 더 우수한 성능를 기록하였다.
• 군집 기반의 인지 근사 기법을 사용함으로써 학습 공간 크기가 일정하게 유지되어, 에이전트 수나 고리 크기와 무관하게 확장 가능한 방법이 되었다.