[논문 리뷰] Time-Varying Formation Controllers for Unmanned Aerial Vehicles Using Deep Reinforcement Learning

Ronny Conde, J.R. Llata외 1명|arXiv (Cornell University)|2017. 06. 05.

Distributed Control Multi-Agent Systems참고 문헌 10인용 수 11

한 줄 요약

이 논문은 시간에 따라 변하는 형성 구조를 효율적으로 달성하기 위해 무인 항공기(UAV)를 위한 딥 강화학습(DRL) 기반 다중 에이전트 컨트롤러를 제안한다. 중심화된 크리틱과 딥 Q네트워크를 사용하여, 상태 관측값만을 이용해 확장 가능하고 이식 가능한 정책을 학습하며, 작업 간 아키텍처나 하이퍼파라미터 변경 없이도 빠른 수렴을 달성한다.

ABSTRACT

We consider the problem of designing scalable and portable controllers for unmanned aerial vehicles (UAVs) to reach time-varying formations as quickly as possible. This brief confirms that deep reinforcement learning can be used in a multi-agent fashion to drive UAVs to reach any formation while taking into account optimality and portability. We use a deep neural network to estimate how good a state is, so the agent can choose actions accordingly. The system is tested with different non-high-dimensional sensory inputs without any change in the neural network architecture, algorithm or hyperparameters, just with additional training.

연구 동기 및 목표

• 동적이고 시간에 따라 변하는 형성 구조를 위한 확장 가능하고 이식 가능한 UAV 형성 컨트롤러 설계의 과제를 해결한다.
• 복잡하고 비정상적인 형성 작업을 처리하는 데 있어 전통적 제어 방법의 한계를 극복한다.
• 엔드 투 엔드 학습을 통해 UAV가 목표 형성에 신속하고 효율적으로 도달할 수 있도록 한다.
• 재학습이나 아키텍처 변경 없이도 다양한 형성 간 정책 일반화를 보장한다.
• 최소한의 감지 입력으로도 안정성을 확보하고 다양한 시나리오에서 일관된 성능을 유지한다.

제안 방법

• 중앙집중적 크리틱과 분산형 액터를 갖춘 다중 에이전트 딥 강화학습 프레임워크를 사용한다.
• 정책 학습을 위한 상태-행동 가치 함수를 추정하기 위해 딥 Q네트워크(DQN)를 사용한다.
• 목표 형성에 빠르게 수렴하도록 유도하는 보상 함수를 사용하여 정책을 훈련한다.
• 딥 RL 환경에서 훈련을 안정화하기 위해 경험 재생과 타겟 네트워크를 적용한다.
• 고차원적 감지 전처리를 피하기 위해 원시 상태 관측값(예: 상대 위치 및 속도)을 입력으로 사용한다.
• 다양한 형성에 대해 동일한 신경망 아키텍처를 사용하며, 추가적인 피니팅만으로도 이식 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 딥 강화학습은 시간에 따라 변하는 형성 구조를 위한 확장 가능하고 이식 가능한 UAV 형성 컨트롤러를 학습할 수 있는가?
• RQ2 아키텍처나 하이퍼파라미터 변경을 최소화하면서 DRL 정책은 다양한 형성 형태 간에 얼마나 잘 일반화되는가?
• RQ3 낮은 차원의 상태 입력만을 사용할 때, 컨트롤러는 목표 형성에 얼마나 신속하게 수렴할 수 있는가?
• RQ4 중앙집중적 훈련과 분산 실행(CTDE) 프레임워크는 다중 UAV 조율 작업에서 어떻게 성능을 발휘하는가?
• RQ5 재학습 없이도 학습된 정책은 다양한 형성 구성에서 안정성과 최적성을 유지할 수 있는가?

주요 결과

• DRL 기반 컨트롤러는 다양한 시간에 따라 변하는 형성 구조에 UAV를 고신뢰성과 고속도로 도달시키는 데 성공했다.
• 동일한 신경망 아키텍처가 재학습이나 하이퍼파라미터 조정 없이도 여러 형성에 일반화된다.
• 훈련 중 누적 보상 편차가 일관되게 낮다는 점에서, 목표 형성에 빠른 수렴을 달성한다.
• 상대 위치와 속도만을 입력으로 사용함에도 불구하고 성능을 유지하여 강건성을 입증한다.
• 훈련을 한 형성 유형 하나에서 다른 형성 유형으로의 일반화가 가능하여 확장성을 입증한다. 추가적인 피니팅이 최소한으로 필요하다.
• 중앙집중적 크리틱과 분산 실행을 결합한 프레임워크는 복잡한 형성 작업에서 안정적인 훈련과 효과적인 다중 에이전트 조율을 가능하게 한다.