[논문 리뷰] Asynchronous Deep Model Reference Adaptive Control

Girish Joshi, Jasvir Virdi외 1명|arXiv (Cornell University)|2020. 11. 04.

Advanced Control Systems Optimization참고 문헌 35인용 수 27

한 줄 요약

이 논문은 실시간, 안정적이고 고대역폭의 비행 제어를 가능하게 하는 비동기적 딥 뉴럴 네트워크(DNN) 기반 참조 적응 제어(DMRAC) 아키텍처를 제안한다. 이는 온보드 실시간 추론과 오프보드 배치 학습 간의 분리된 구조를 통해 심각한 고장과 바람 간섭에 대한 강건한 적응성을 확보하며, 비행 테스트에서 얕은 MRAC 및 PID 제어기보다 우수한 성능을 보이며, 전체 일반화 능력과 충돌 없음.

ABSTRACT

In this paper, we present Asynchronous implementation of Deep Neural Network-based Model Reference Adaptive Control (DMRAC). We evaluate this new neuro-adaptive control architecture through flight tests on a small quadcopter. We demonstrate that a single DMRAC controller can handle significant nonlinearities due to severe system faults and deliberate wind disturbances while executing high-bandwidth attitude control. We also show that the architecture has long-term learning abilities across different flight regimes, and can generalize to fly different flight trajectories than those on which it was trained. These results demonstrating the efficacy of this architecture for high bandwidth closed-loop attitude control of unstable and nonlinear robots operating in adverse situations. To achieve these results, we designed a software+communication architecture to ensure online real-time inference of the deep network on a high-bandwidth computation-limited platform. We expect that this architecture will benefit other deep learning in the closed-loop experiments on robots.

연구 동기 및 목표

• 동적 외란과 시스템 고장 상황에서 유연하고 불안정한 로봇의 실시간, 안정적이고 적응형 제어 과제 해결.
• 장기적인 일반화 능력과 학습 능력에 한계가 있는 얕은 적응 제어기의 한계 극복.
• 소형 드론과 같은 계산 자원이 제한된 플랫폼에 딥 뉴럴 네트워크를 닫힌 루프 제어에 구현 가능하게 하기.
• 온보드 및 오프보드 시스템 간 통신 장애를 견딜 수 있는 확장 가능한 비동기 학습 아키텍처 개발.
• 학습 데이터에 포함되지 않은 비행 궤적과 극한 외부 간섭(예: 로터 고장, 강한 바람 편향)에 대한 일반화 능력 입증.

제안 방법

• 빠른-느린 비동기 업데이트 프레임워크를 구현: DNN의 최종 레이어는 임베디드 비행 제어기에서 실시간으로 업데이트되고, 더 깊은 레이어는 별도의 컴퓨터에서 배치 업데이트와 드롭아웃 정규화를 사용해 오프라인으로 학습.
• 모델 기반 적응 제어(MRAC) 구조를 사용하여 DNN이 추적 오차를 최소화하면서도 라플라스 안정성 보장을 보장.
• 온보드 제어기와 오프보드 컴퓨터 간에 간헐적이고 비동기적으로 내부 레이어 가중치를 전송할 수 있는 통신 프로토콜 설계로, 상당한 통신 장애를 수용 가능.
• 비행 중 수집한 온라인 데이터를 활용해 다양한 비행 영역(저속, 중속, 고속 바람 편향, 로터 터미널 손상 등)에서 점진적으로 DNN 학습.
• 고차원 DNN 특징을 시각화하기 위해 t-SNE와 PCA를 적용하여 네트워크가 다양한 비행 조건에 대해 어떻게 구별 가능한 표현을 학습하는지 분석.
• 제한된 온보드 계산 능력을 지닌 Parrot Mambo Fly 큐브코pter에 실시간 비행 스택에 DMRAC 제어기 통합.

실험 결과

연구 질문

• RQ1 제한된 온보드 계산 능력을 지닌 고대역폭 불안정 항공기에서 딥 뉴럴 네트워크를 닫힌 루프 적응 제어 시스템에 효과적이고 안정적으로 통합할 수 있는가?
• RQ2 배치 업데이트와 드롭아웃을 사용한 오프보드에서의 깊은 DNN 레이어 비동기 학습이 얕은 적응 제어기보다 장기적인 일반화 능력과 강건성 향상에 기여하는가?
• RQ3 DMRAC 제어기가 학습 데이터에 포함되지 않은 비행 궤적과 고장 조건(예: 고속 바람 편향, 로터 고장)에 일반화할 수 있는가?
• RQ4 DNN의 내부 특징은 학습 과정에서 어떻게 변화하며, 각기 다른 비행 영역과 고장 조건에 대응하는 분리 가능한 클러스터를 형성하는가?
• RQ5 제안된 비동기 아키텍처는 온보드 및 오프보드 구성 요소 간 상당한 통신 장애 상황에서도 시스템의 안정성과 성능을 유지할 수 있는가?

주요 결과

• 심각한 시스템 고장과 바람 간섭 상황에서의 여덟 번의 비행 테스트 전반에서 DMRAC 제어기는 모든 경우에 안정된 비행을 달성했고, 충돌 없음. 반면 얕은 MRAC 제어기는 여덟 번의 비행 중 네 번에서 실패.
• X-Y-Z 위치 추적 성능에서 DMRAC 제어기가 MRAC 대비 유의미하게 낮은 평균 및 분산 오차를 보이며 뛰어난 추적 성능 확보. 특히 고외란 영역에서 두드러진 성능 향상.
• DNN 특징의 t-SNE 시각화 결과, 저속, 중속, 고속 바람 편향 및 로터 고장 조건에 대응하는 클러스터가 명확하게 분리되어 있음을 확인하여 효과적인 표현 학습을 입증.
• 네트워크는 다양한 비행 영역을 구별하는 능력을 습득하였으며, 외란 강도가 증가함에 따라 바람 조건이 점차 분리되는 경향을 보였고, 고장 및 바람 클러스터는 서로 명확히 분리되어 있음.
• 온보드 및 오프보드 구성 요소 간 통신 장애를 성공적으로 견뎌내며, 비동기 가중치 업데이트 중에도 실시간 제어와 안정성을 유지함.
• 학습 데이터에 포함되지 않은 비행 궤적에 대해서도 DMRAC 제어기가 일반화 능력을 보이며, 학습 분포를 초월한 장기적 학습과 적응 능력을 입증함.