[논문 리뷰] A reinforcement learning algorithm for building collaboration in multi-agent systems

Mehmet Emin Aydın, Ryan Fellows|arXiv (Cornell University)|2017. 11. 28.

Reinforcement Learning in Robotics참고 문헌 5인용 수 4

한 줄 요약

이 논문은 다중 에이gent 시스템에서 협업 행동을 가능하게 하기 위해 입자군집최적화(PSO) 내부에 통합된 새로운 Q-학습 알고리즘을 제안한다. 강화학습과 PSO를 결합함으로써 에이gent들은 경쟁 기반 보상에 기반해 밀집 유지 및 간섭 방지를 학습하며, 분리 후 재연결에 한계가 있음에도 불구하고 시뮬레이션에서 안정적인 집단 운동을 달성한다.

ABSTRACT

This paper presents a proof-of concept study for demonstrating the viability of building collaboration among multiple agents through standard Q learning algorithm embedded in particle swarm optimisation. Collaboration is formulated to be achieved among the agents via some sort competition, where the agents are expected to balance their action in such a way that none of them drifts away of the team and none intervene any fellow neighbours territory. Particles are devised with Q learning algorithm for self training to learn how to act as members of a swarm and how to produce collaborative/collective behaviours. The produced results are supportive to the algorithmic structures suggesting that a substantive collaboration can be build via proposed learning algorithm.

연구 동기 및 목표

• 동적이고 실시간 환경에서 다수의 에이gent 간 협업을 가능하게 하는 강화학습 프레임워크를 개발하는 것.
• 개별 에이gent가 보상에 경쟁적으로 대응하면서도 군집의 결속을 유지하는 과제를 해결하는 것.
• Q-학습을 입자군집최적화(PSO)와 통합하여 자가학습과 잠재적 집단 행동을 가능하게 하는 것.
• 경쟁 기반 학습이 강건하고 확장 가능한 다중 에이gent 협업을 달성하는 데 가능성을 평가하는 것.
• 특히 에이gent 분리 후 재연결에 대한 현재 구현의 한계를 규명하는 것.

제안 방법

• 에이gent는 상태-행동 가치 갱신을 통해 보상에 기반해 최적 행동을 학습할 수 있도록 표준 Q-학습을 사용한다.
• 에이gent는 위치와 속도가 운동 및 상호작용을 이끄는 PSO 프레임워크 내의 입자로 모델링된다.
• 이웃 에이gent와의 거리 유지를 위해 양의 보상을 받고, 범위를 벗어나거나 겹치는 경우 음의 보상을 받는다.
• 학습 과정은 거리 유지와 간섭 방지를 균형 잡힌 보상 함수에 의해 이끌린다.
• 장기적 행동 최적화를 위해 할인 인자와 학습률을 사용해 Q-값을 시간에 따라 갱신한다.
• NetLogo를 사용해 시뮬레이션을 수행하며, 각 에이gent의 개별 학습을 추적한다.

실험 결과

연구 질문

• RQ1 PSO 내부에 통합된 Q-학습이 집단 결속을 유지하면서 간섭을 방지하는 데 효과적으로 에이gent를 학습시킬 수 있는가?
• RQ2 경쟁 기반 보상 구조는 다중 에이gent 시스템에서 협업 행동의 발생에 어떻게 영향을 미치는가?
• RQ3 현재 알고리즘의 주요 한계 중 분리 후 에이gent 연결 유지에 대한 한계는 무엇인가?
• RQ4 개별 에이gent가 다수의 에이gent 환경에서 동기화된 상태에서 최적의 결정을 내리는 데 얼마나 효과적으로 학습하는가?
• RQ5 학습률과 보상 크기와 같은 초모수는 학습 과정의 수렴성과 안정성에 어떤 영향을 미치는가?

주요 결과

• Q-학습과 PSO를 융합한 하이브리드 알고리즘이 에이gent가 밀집 상태를 유지하도록 효과적으로 학습시켰으며, 경쟁 기반 학습에서 협업 행동이 유추될 수 있음을 입증했다.
• 100회 반복 동안 에이gent는 일관된 학습 행동을 보였으며, 대부분의 경우 간섭을 피하고 군집 결속을 유지하기 위한 올바른 결정을 내렸다.
• 전반적인 성공에도 불구하고, 이웃 영역 반경을 초월해 떨어진 에이gent는 재연결에 실패하여 장기간에 걸쳐 성능이 열 劣화되었다.
• 여러 에이gent가 동시에 이동할 경우 예측 불가능성으로 인해 이웃 에이gent의 행동을 고려하지 못해 의도치 않은 밀집 갈등이 발생했다.
• 보상 값을 5에서 0.5로 감소시켜도 학습 결과에 미치는 영향이 미미하여, 단기 시뮬레이션에서는 보상 크기 민감도가 낮다는 것을 시사했다.
• 분리 후 재연결 메커니즘이 부재한 것이 핵심 한계로 규명되었으며, 향후 경로 탐색 또는 검색 알고리즘을 통합해 개선이 필요하다.