[논문 리뷰] Inner Attention Modeling for Flexible Teaming of Heterogeneous Multi Robots Using Multi-Agent Reinforcement Learning.

Chao Huang, Rui Liu|arXiv (Cornell University)|2020. 06. 28.

Evolutionary Game Theory and Cooperation인용 수 2

한 줄 요약

이 논문은 이질적 다중로봇 시스템(HMRS)에서 영구적이고 적응적인 협업을 가능하게 하는 내부 주의 메커니즘을 갖춘 새로운 다중에이전트 강화학습 프레임워크인 innerATT를 제안한다. 작업 및 로봇 가용성의 변화에 따라 팀 역량을 동적으로 할당함으로써, 탐색 및 구조 작업과 같은 동적 환경에서 협업 효율성을 향상시키고 자원 소비를 줄인다.

ABSTRACT

With the advantages of member diversity and team scale, heterogeneous multi-robot systems (HMRS) are widely used in complex scenarios, including disaster search and rescue, site surveillance, and traffic control. However, due to the of requirements, it is still challenging to accurately allocate limited team capability to satisfy various needs effectively. In this paper, a novel adaptive cooperation method, inner attention innerATT is developed to flexibly team heterogeneous robots to execute tasks as needs change. innerATT is designed based on an attention mechanism and a multi-agent actor-critic reinforcement learning algorithm. We briefly validate how the inner attention mechanism can be exploited to enable flexible and robust decision making in guiding cooperation. The results, in two designed scenarios task variety and robot availability variety, show that innerATT can enable flexible cooperation and reduce resource consumption in search and rescue tasks.

연구 동기 및 목표

• 다양한 작업 및 로봇 가용성 조건 하에서 제한된 역량을 동적으로 할당하는 문제에 대응하기.
• 재난 탐색 및 구조와 같은 복잡한 실제 환경에서의 팀워크 유연성과 내성 강도를 향상시키기.
• 환경적 요구에 따라 실시간으로 팀 구성과 역할을 적응함으로써 효율적인 협업을 가능하게 하기.
• 지능적인 역량 할당을 통해 작업 실행 중 자원 소비를 줄이기.
• 다양한 로봇 유형과 작업 요구사항을 지원하는 확장 가능하고 적응 가능한 조율 메커니즘 개발하기.

제안 방법

• 다중에이전트 액터-크리틱 강화학습 프레임워크에 내부 주의 메커니즘을 통합하여 로봇 간 의존성을 모델링하고 관련성이 높은 팀원을 우선순위화하기.
• 주의 가중치를 사용하여 각 로봇의 역량이 현재 작업에 얼마나 관련성이 있는지 동적으로 평가함으로써 맥락 인식 팀워크 결정 가능하게 하기.
• 지침자 중심의 크리틱과 국소 관측치를 사용하여 정책 네트워크를 훈련함으로써 신용 할당을 유지하면서도 부분 관측 가능성 유지하기.
• 주의 메커니즘을 보완 역량을 가진 로봇에 집중시켜 협업 효율성 향상시키기.
• 정책 기반 강화학습 방법을 사용하여 정책을 엔드 투 엔드로 최적화하고, 주의 게이트가 각 에이전트의 행동 기여도를 조절하기.
• 실시간으로 주의 가중치를 재평가함으로써 작업 요구사항 변화 및 로봇 가용성 변화에 대응할 수 있도록 시스템 적응성 확보하기.

실험 결과

연구 질문

• RQ1 어떻게 이질적 로봇을 영구적으로 팀핑하여 변화하는 작업 요구사항에 대응할 수 있는가?
• RQ2 내부 주의 메커니즘이 다중로봇 시스템에서 협업 효율성을 얼마나 향상시키고 자원 소비를 줄이는가?
• RQ3 제안된 방법은 로봇 가용성과 작업 다양성이 변화하는 상황에서도 견고한 성능을 유지할 수 있는가?
• RQ4 복잡한 상황에서 주의 기반 메커니즘이 고정 또는 히우리스틱 팀워크 전략보다 어떻게 비교되는가?
• RQ5 내부 주의 메커니즘이 다중에이전트 환경에서 학습 안정성과 확장 가능성에 어떤 영향을 미치는가?

주요 결과

• innerATT는 작업 및 로봇 가용성에 따라 팀 구성과 역할을 동적으로 조정함으로써 이질적 다중로봇 시스템에서 영구적이고 적응적인 팀워크를 가능하게 한다.
• 주의 기반 협업을 통한 역량 할당 최적화를 통해 탐색 및 구조 작업 중 자원 소비를 줄인다.
• 높은 작업 다양성이 있는 상황에서도 실시간 팀 재구성 능력 덕분에 innerATT는 높은 작업 완료율을 유지한다.
• 내부 주의 메커니즘은 각 작업에 가장 관련성이 높은 로봇에 집중함으로써 의사결정의 내성 강도를 향상시킨다.
• 기준 방법 대비 협업 효율성이 향상된 결과를 보이며, 특히 동적이고 불확실한 환경에서 두드러진다.
• 프레임워크는 다양한 로봇 및 작업 구성에 걸쳐 확장성과 적응성을 입증한다.