[논문 리뷰] Real-Time Stochastic Optimal Control for Multi-agent Quadrotor Systems

Vicenç Gómez, Sep Thijssen외 3명|arXiv (Cornell University)|2015. 02. 16.

Distributed Control Multi-Agent Systems참고 문헌 38인용 수 16

한 줄 요약

이 논문은 경로 적분 제어를 사용하여 다중 에이전트 퀴드로터 시스템을 위한 실시간 스토하스틱 최적 제어 프레임워크를 제안한다. 이는 효율적인 샘플링 기반 궤적 계획과 저수준 PID 추적을 가능하게 하며, 시뮬레이션상 최대 10架의 퀴드로터를 실시간으로 조율한다. 또한 센서 노이즈와 바람이 있는 실외 조건에서 3대의 실제 퀴드로터를 대상으로 기대치 못한 집단적 행동—예를 들어 편대 비행 및 추적—을 구현한다.

ABSTRACT

This paper presents a novel method for controlling teams of unmanned aerial vehicles using Stochastic Optimal Control (SOC) theory. The approach consists of a centralized high-level planner that computes optimal state trajectories as velocity sequences, and a platform-specific low-level controller which ensures that these velocity sequences are met. The planning task is expressed as a centralized path-integral control problem, for which optimal control computation corresponds to a probabilistic inference problem that can be solved by efficient sampling methods. Through simulation we show that our SOC approach (a) has significant benefits compared to deterministic control and other SOC methods in multimodal problems with noise-dependent optimal solutions, (b) is capable of controlling a large number of platforms in real-time, and (c) yields collective emergent behaviour in the form of flight formations. Finally, we show that our approach works for real platforms, by controlling a team of three quadrotors in outdoor conditions.

연구 동기 및 목표

• 소음이 있고 불확실한 환경에서 자율 퀴드로터 팀을 조율하기 위한 확장 가능하고 실시간인 제어 프레임워크를 개발하는 것.
• 효율적인 샘플링을 활용한 스토하스틱 최적 제어 이론을 통해 고차원적이고 비선형적인 다중 에이전트 제어 문제를 해결하는 것.
• 경로 적분 제어가 복잡한 시나리오—예를 들어 추적 및 편대 비행—에서 강건하고 기대되는 집단적 행동을 유도할 수 있음을 보여주는 것.
• 실제 하드웨어에서의 방법 검증을 통해 시뮬레이션을 넘어서 실용적 타당성을 입증하는 것.
• 비가역적인 HJB 해를 피하기 위해 재정의된 수평선 재계획 및 효율적인 중요도 샘플링을 통해 실시간 성능을 보장하는 것.

제안 방법

• 중앙집중식 경로 적분(PI) 제어 문제로 다중 에이전트 제어 문제를 공식화하여 최적 제어를 확률적 추론 문제로 변환한다.
• 전역 비용 함수(에이전트 간 상호작용 및 환경 페널티 포함) 기반으로 각 퀴드로터의 최적 속도 시퀀스를 계산하는 고수준 플래너를 사용한다.
• 고수준 속도 명령을 퀴드로터의 비행 제어기 경유로 모터 명령으로 변환하는 저수준 PID 속도 제어기를 활용한다.
• 다이나믹한 변화에 대응하기 위해 재정의된 수평선 기반 실시간 재계획(모델 예측 제어 유사)을 적용한다.
• 비가우시안 노이즈와 비선형 동역학에도 불구하고 빠른 계산을 가능하게 하기 위해 효율적인 중요도 샘플링을 사용하여 PI 제어 문제를 해결한다.
• 고성능 계획을 위해 복잡한 동역학을 간소화한 점질량 이중 적분 모델을 사용하여 확장성 향상을 도모한다.

실험 결과

연구 질문

• RQ1 경로 적분 스토하스틱 최적 제어는 소음이 있고 불확실한 환경에서 실시간으로 확장 가능한 다중 퀴드로터 조율을 가능하게 할 수 있는가?
• RQ2 소음 의존적인 최적 해를 가지는 다중 모드 시나리오에서 제안된 방법이 결정론적 제어 및 기타 스토하스틱 최적 제어 접근법과 비교해 어떻게 성능을 발휘하는가?
• RQ3 편대 비행 및 추적과 같은 기대되는 집단적 행동이 전역 최적 비용 함수로부터 자연스럽게 유도될 수 있는가?
• RQ4 고수준 플래너 + 저수준 PID의 계층적 제어 아키텍처가 실외 실세계 조건에서 성능을 얼마나 잘 유지하는가?
• RQ5 이 샘플링 기반 접근법을 사용해 실시간으로 효과적으로 제어할 수 있는 퀴드로터의 최대 수는 얼마인가?

주요 결과

• 제안된 경로 적분 제어 방법은 소음 의존적인 최적 해를 가지는 다중 모드 문제에서 결정론적 제어 및 기타 스토하스틱 최적 제어 접근법을 능가한다.
• 시스템은 실시간 시뮬레이션에서 최대 10대의 퀴드로터를 성공적으로 제어하여 확장성과 계산 효율성을 입증한다.
• 비용 함수와 제어 정책으로부터 자연스럽게 원형 비행 패턴과 함께 이동하는 목표물을 둘러싸는 조율된 추적 행동과 같은 기대되는 집단적 행동이 발생한다.
• 방법은 실외에서 3대의 실제 퀴드로터를 대상으로 검증되었으며, 상당한 센서 노이즈와 바람에도 불구하고 안정적인 원형 비행 및 추적 행동을 달성한다.
• 모델 불일치에 대해 강건한 성능을 보이며, 코드 변경 없이 시뮬레이션에서 실제 하드웨어로의 원활한 전환을 가능하게 한다.
• 표준 하드웨어(예: Core i7 랩탑)를 사용해도 실시간으로 계산이 가능하며, 현재 구성에서는 전용 가속기의 필요성이 없다.