[논문 리뷰] CoDe: A Cooperative and Decentralized Collision Avoidance Algorithm for Small-Scale UAV Swarms Considering Energy Efficiency

Shuangyao Huang, Haibo Zhang외 1명|arXiv (Cornell University)|2022. 04. 19.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 소규모 무인 항공기(UAV) 기수를 위한 협동적이고 탈중앙화된 다중 에이전트 강화학습 알고리즘인 MACA를 제안한다. 이 알고리즘은 충돌 회피와 에너지 효율성을 동시에 최적화한다. 연속된 행동 공간에서 새로운 반사적 신용 할당 기법을 사용하는 중심화된 크리틱을 통해, 기존의 E²Coop와 같은 방법들에 비해 평균 보상은 16% 높고, 실패율은 90% 낮으며, 반응 시간은 99% 이상 빠르게 구현한다.

ABSTRACT

This paper introduces a cooperative and decentralized collision avoidance algorithm (CoDe) for small-scale UAV swarms consisting of up to three UAVs. CoDe improves energy efficiency of UAVs by achieving effective cooperation among UAVs. Moreover, CoDe is specifically tailored for UAV's operations by addressing the challenges faced by existing schemes, such as ineffectiveness in selecting actions from continuous action spaces and high computational complexity. CoDe is based on Multi-Agent Reinforcement Learning (MARL), and finds cooperative policies by incorporating a novel credit assignment scheme. The novel credit assignment scheme estimates the contribution of an individual by subtracting a baseline from the joint action value for the swarm. The credit assignment scheme in CoDe outperforms other benchmarks as the baseline takes into account not only the importance of a UAV's action but also the interrelation between UAVs. Furthermore, extensive experiments are conducted against existing MARL-based and conventional heuristic-based algorithms to demonstrate the advantages of the proposed algorithm.

연구 동기 및 목표

• 제한된 계산 및 통신 자원을 가진 소규모 UAV 기수에서 협동적이고 에너지 효율적인 충돌 회피 문제를 해결한다.
• 연속된 행동 공간에서 탈중앙화된 실행을 위한 중심화된 훈련(CTDE)의 신용 할당 문제를 해결한다.
• 실시간 탈중앙화 의사결정을 가능하게 하면서 전반적인 안전성과 에너지 효율성을 극대화하는 저복잡도이자 확장 가능한 방법을 설계한다.
• 자원이 제한된 UAV에 비현실적인 중심화된 계획이나 고대역폭의 UAV 간 통신에 의존하는 것을 줄인다.
• 샘플링이나 근사치를 사용하지 않고도 COMA 및 셰플리와 같은 기존 MARL 알고리즘을 연속된 행동 공간에 직접 적용할 수 있도록 개선한다.

제안 방법

• 안전성과 에너지 효율성을 종합한 전역 보상 함수를 포함하는 탈중앙화된 부분 관측 마르코프 결정 과정(Dec-POMDP)으로 UAV 기수 충돌 회피 문제를 수식화한다.
• 공동 관측치와 행동을 사용해 전역 수익을 계산하는 공유 크리틱 네트워크를 갖춘 다중 액터, 중심화된 크리틱 프레임워크(MACA)를 구현한다.
• 에이전트의 상태와 행동을 모두 마르지닝하여 연속된 행동 공간에서의 신용 할당을 위한 저복잡도의 이점 함수를 계산하는 반사적 기반선을 설계한다.
• COMA 및 셰플리에서 사용하는 비용이 많이 드는 샘플링이나 근사치를 피하기 위해 크리틱 네트워크의 정방향 전파를 통해 이점 함수를 계산한다.
• 탈중앙화 실행 중 희귀한 실패 사례를 처리하기 위해 비상 회피 기법을 통합하여 강건성을 향상시킨다.
• 훈련 및 평가를 위해 실제 UAV 동역학, 장애물 상호작용, 통신 제약 조건을 모델링하는 데 사용할 수 있는 맞춤형 시뮬레이션 환경 MACAEnv를 개발한다.

실험 결과

연구 질문

• RQ1 반사적 신용 할당 메커니즘을 갖춘 중심화된 크리틱이 연속된 행동 공간에서 탈중앙화된 정책을 효과적으로 훈련시켜 UAV 기수 충돌 회피에 적합한가?
• RQ2 동적 UAV 기수 시나리오에서 제안된 신용 할당 방법은 COMA 및 셰플리와 비교해 학습 효율성, 실패율, 반응 시간 측면에서 어떻게 성능을 내는가?
• RQ3 보상 함수에 에너지 효율성을 통합할 경우, UAV 기수의 장기적 성능 향상과 운영 지속 가능성에 얼마나 기여하는가?
• RQ4 기존의 방법들과 최신의 MARL 방법들과 비교해, 다양한 기수 규모와 장애물 밀도 조건에서 제안된 알고리즘이 어떻게 성능을 내는가?
• RQ5 비상 회피 메커니즘이 반응 시간이나 에너지 효율성에 악영향을 주지 않으면서도 탈중앙화 실행 중 실패율을 크게 줄일 수 있는가?

주요 결과

• MACA는 2U1O, 3U1O, 4U2O 구성의 시나리오에서 각각 두 개의 최신 MARL 알고리즘보다 평균 보상이 16.61%, 20.41%, 19.22% 높다.
• 4U2O 시나리오에서 MACA의 실패율은 기존의 E²Coop 알고리즘 대비 90% 감소하여 20%에서 2%로 하락한다.
• 모든 테스트 시나리오에서 MACA는 E²Coop 대비 반응 시간을 99% 이상 단축시켜 액터 네트워크의 단일 정방향 전파를 통해 거의 즉각적인 의사결정을 가능하게 한다.
• 모든 시나리오에서 MACA는 MACA(noEAS)보다 낮은 실패율을 유지하며, 3U1O에서는 0%의 실패율, 4U2O에서는 2%의 실패율을 기록하여 비상 회피 기법의 효과를 입증한다.
• 보수적인 궤도 계획으로 인해 에너지 소비는 E²Coop보다 略로 높지만, 안전성과 반응 시간 측면에서 훨씬 뛰어난 성능을 보여 이 교환은 정당화된다.
• 반사적 신용 할당 메커니즘이 더 정확한 기여도 추정을 가능하게 하여, 보다 강건하고 협동적인 정책을 도출함으로써 기준 모델들보다 정밀도가 높은 신용 할당을 가진 알고리즘의 성능을 향상시킨다.