[논문 리뷰] Robot Inner Attention Modeling for Task-Adaptive Teaming of Heterogeneous Multi Robots

Chao Huang, Rui Liu|arXiv (Cornell University)|2020. 06. 28.

Reinforcement Learning in Robotics참고 문헌 35인용 수 4

한 줄 요약

이 논문은 이질적인 로봇의 유연하고 작업 적응형 팀 편성 기능을 가능하게 하기 위해 다중 에이전트 액터-크리틱 아키텍처에 주의 메커니즘을 통합한 새로운 다중 에이전트 강화학습 프레임워크인 innerATT를 제안한다. 작업 요구사항과 로봇 능력에 기반해 동적으로 팀원에게 주의 가중치를 할당함으로써, innerATT는 단일, 이중, 혼합 작업 전반에서 뛰어난 팀 편성 정확도와 적응성을 달성하며, 로봇 장애 및 변화하는 작업 요구사항이 있는 동적 환경에서도 기준 방법들을 능가한다.

ABSTRACT

Attracted by team scale and function diversity, a heterogeneous multi-robot system (HMRS), where multiple robots with different functions and numbers are coordinated to perform tasks, has been widely used for complex and large-scale scenarios, including disaster search and rescue, site surveillance, and social security. However, due to the variety of the task requirements, it is challenging to accurately compose a robot team with appropriate sizes and functions to dynamically satisfy task needs while limiting the robot resource cost to a low level. To solve this problem, in this paper, a novel adaptive cooperation method, inner attention (innerATT), is developed to flexibly team heterogeneous robots to execute tasks as task types and environment change. innerATT is designed by integrating a novel attention mechanism into a multi-agent actor-critic reinforcement learning architecture. With an attention mechanism, robot capability will be analyzed to flexibly form teams to meet task requirements. Scenarios with different task variety ("Single Task", "Double Task", and "Mixed Task") were designed. The effectiveness of the innerATT was validated by its accuracy in flexible cooperation.

연구 동기 및 목표

• 다양한 작업 요구사항과 실제 세계의 제약 조건 하에서 이질적 다중 로봇 시스템(HMRS)에서 최적의 로봇 팀을 동적으로 편성하는 문제를 해결하기 위해.
• 사전 정의된 팀 편성 전략과 비적응형 강화학습 방법의 한계를 극복하여, 로봇 고장이나 작업 복잡도 변화 상황에서도 성능을 유지하기 위해.
• 주목적 메커니즘을 통해 실시간 협력 잠재력을 기반으로 로봇이 자율적으로 팀원을 선택할 수 있도록 하기 위해.
• 재난 대응 및 교통 통제와 같은 복잡하고 대규모의 시나리오에서의 팀 편성 적응성과 내구성을 향상시키기 위해.

제안 방법

• 다중 에이전트 액터-크리틱 강화학습 프레임워크에 다중 헤드 자기주목 메커니즘을 통합하여 상호 로봇 협업 역학을 모델링한다.
• 로봇 관측치, 상태, 행동 및 팀원 간 소통 데이터를 입력으로 사용하여 각 잠재적 팀원에 대한 주의 가중치를 계산한다.
• 학습된 주의 가중치를 사용해 작업 특화 요구사항에 기반해 최적의 협업 전략을 선택하는 Q-가치 네트워크를 구현한다.
• 딥 강화학습을 통해 엔드 투 엔드로 모델을 훈련시켜 주의 가중치가 배포 중에 자동으로 학습되도록 한다.
• 다양한 로봇 협업 가능성을 평가하기 위해 다중 주의 헤드를 지원하여 팀 편성의 유연성을 향상시킨다.
• 장애가 발생한 로봇에 대한 의존도를 줄이고 신뢰할 수 있는 팀원에 집중함으로써 로봇 고장에 강건하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 어떻게 이질적 로봇들이 작업 유형과 환경 조건의 변화에 따라 최적의 팀을 동적으로 편성할 수 있는가?
• RQ2 비선택적 또는 고정 가중치 전략 대비 주의 메커니즘이 팀 편성 적응성에 얼마나 기여하는가?
• RQ3 센서 열화나 부분 기능 상실과 같은 로봇 고장 상황에서도 제안된 방법이 높은 성능을 유지할 수 있는가?
• RQ4 다양한 작업 간 임무 전환 기간 동안 주의 메커니즘이 행동 적응을 어떻게 지원하는가?
• RQ5 주의 기반 선택이 혼합 작업 시나리오에서 팀 편성 정확도와 자원 효율성에 미치는 영향은 무엇인가?

주요 결과

• innerATT는 단일, 이중, 혼합 작업을 포함한 모든 작업 유형에서 기준 방법 대비 뚜렷한 팀 편성 정확도 향상을 보였다.
• 주목적 메커니즘이 임무 전환 기간 동안 의료 지원 로봇에서 주행 로봇으로 협업 초점을 동적으로 이동시킬 수 있었으며, 이는 그림 5의 주의 가중치 이동을 통해 입증되었다.
• 훈련 과정에서 주의 가중치의 엔트로피가 약 1.02로 감소하여 안정적이고 선택적인 주의 학습이 이루어졌음을 나타내었으며, 이는 모델이 핵심 팀원을 식별할 수 있음을 확인한다.
• UAV 참가율 비교 결과, 다양한 작업 조건 하에서 innerATT는 통계적으로 유의미한 차이가 없었음(χ² < 3.84)을 보여, 일관되고 적응 가능한 팀 편성 성능을 유지함을 시사한다.
• 장애가 발생한 팀원에 대한 의존도를 최소화하고 신뢰할 수 있는 협업자에게 집중함으로써 innerATT는 로봇 고장에 대한 강건성을 입증하였다.
• PPO-innerATT 및 TD-innerATT 변종은 기준 방법이 강한 편향을 보이는 것과 달리 모든 작업에서 균형 잡힌 UAV 참가율을 달성하여 공정성과 적응성 향상을 입증하였다.