[논문 리뷰] Meta-Adaptive Nonlinear Control: Theory and Algorithms

Guanya Shi, Kamyar Azizzadenesheli외 3명|arXiv (Cornell University)|2021. 06. 11.

Advanced Bandit Algorithms Research참고 문헌 64인용 수 19

한 줄 요약

이 논문은 온라인 표현 학습과 적응 제어 이론을 통합하여, 적대적 외란과 알려지지 않은 환경 의존성 동역학을 가진 비선형 시스템에서 빠르고 안정적인 적응을 가능하게 하는 새로운 프레임워크인 온라인 메타-적응 제어(OMAC)를 소개한다. 이는 다중 작업 비선형 제어에 대해 비점근적 종단 간 수렴 보장을 제공하며, 변화하는 바람 조건 하에서 펜듈럼 및 드론 제어에서 기존 적응 제어 방법보다 경험적으로 향상된 성능을 보인다.

ABSTRACT

We present an online multi-task learning approach for adaptive nonlinear control, which we call Online Meta-Adaptive Control (OMAC). The goal is to control a nonlinear system subject to adversarial disturbance and unknown $ extit{environment-dependent}$ nonlinear dynamics, under the assumption that the environment-dependent dynamics can be well captured with some shared representation. Our approach is motivated by robot control, where a robotic system encounters a sequence of new environmental conditions that it must quickly adapt to. A key emphasis is to integrate online representation learning with established methods from control theory, in order to arrive at a unified framework that yields both control-theoretic and learning-theoretic guarantees. We provide instantiations of our approach under varying conditions, leading to the first non-asymptotic end-to-end convergence guarantee for multi-task nonlinear control. OMAC can also be integrated with deep representation learning. Experiments show that OMAC significantly outperforms conventional adaptive control approaches which do not learn the shared representation, in inverted pendulum and 6-DoF drone control tasks under varying wind conditions.

연구 동기 및 목표

• 변화하는 바람이나 지형과 같은 새로운 환경 조건에 신속히 적응할 수 있도록 자율 로봇을 지원하는 데 도전한다.
• 온라인 표현 학습과 제어 이론 간 격차를 메우기 위해, 온라인 표현 학습을 제어론적 안정성 보장과 통합한다.
• 모든 작업에 걸쳐 알려지지 않은 환경 의존성 동역학에 대한 종단 간 이론적 수렴 보장을 제공한다 — 특히 비선형 다중 작업 제어에 대해 누적 제어 오차가 하위선형임을 보장한다.
• 다양한 작업 간 환경 의존성 동역학의 공유 표현을 학습하여 새로운 작업에서 더 빠른 적응을 가능하게 한다.
• OMAC에 딥 표현 학습을 통합하여 경험적 성능를 향상시키면서도 이론적 보장을 유지한다.

제안 방법

• 다양한 작업 간 환경 의존성 동역학의 공유 표현을 학습하기 위해 메타 어댑터를 갖춘 계층적 최적화 프레임워크를 제안한다.
• 공유 표현을 기반으로 환경에 특화된 제어 업데이트를 수행하기 위해 인너 어댑터를 사용하며, 이는 각 환경에서의 신속한 적응을 가능하게 한다.
• 제어 문제를 시간 단위(내부 반복)와 환경 단위(외부 반복)로 나누어 순차적인 온라인 최적화 문제로 공식화한다.
• 온라인 볼록 최적화 도구를 사용하여 볼록성 가정(일반적 볼록성 및 요소별 볼록성) 하에 이론적 수렴 한계를 유도한다.
• OMAC에서 표현 학습기로 딥 신경망을 통합하여 종단 간 미분 가능 학습과 제어 보장을 동시에 달성한다.
• 환경이 각 외부 반복 시작 시 적대적으로 조건을 선택하고, 제어기가 관측된 상태 및 제어 피드백을 사용해 온라인으로 적응하는 상호작용 프로토콜을 설계한다.

실험 결과

연구 질문

• RQ1 비선형 시스템에 대해 온라인 표현 학습과 제어론적 안정성 보장을 통합한 통합 프레임워크를 개발할 수 있는가?
• RQ2 환경 의존성 동역학의 공유 표현을 학습하면 다중 작업 설정에서 더 빠른 적응과 향상된 제어 성능를 달성할 수 있는가?
• RQ3 다중 작업 비선형 적응 제어에 대해 비점근적 수렴 보장(예: 하위선형 누적 오차)을 확립할 수 있는가?
• RQ4 딥 표현 학습의 통합이 복잡한 환경에서 적응 제어의 경험적 성능와 일반화 능력에 어떤 영향을 미치는가?
• RQ5 환경 다양성이 제어를 위한 효과적인 메타학습을 가능하게 하는 데 어떤 역할을 하는가? 이는 이론적 수렴에 어떤 영향을 미치는가?

주요 결과

• OMAC는 공동 및 요소별 볼록성 가정 하에 다중 작업 비선형 적응 제어에 대해 비점근적 종단 간 수렴 보장을 달성한 최초의 사례이다.
• 실험 결과, OMAC는 공유 표현을 학습하지 않는 기존의 적응 제어 방법보다 현저히 뛰어난 성능를 보였으며, 특히 변화하는 바람 조건 하에서 펜듈럼 제어 및 6-자유도 드론 제어에서 두드러진 성능 향상을 보였다.
• 이중 볼록성 변형(O-MAC)은 딥 러닝 기반 OMAC와 비교해 상당히 적은 파rameter로 유사한 성능를 달성하여 샘플 효율성을 입증했다.
• 펜듈럼 작업에서 OMAC(볼록)는 $ c $-불변성 및 $ c $-의존성 동역학의 초월성 덕분에 잘 작동하며, 동역학 복잡성의 구조적 복잡성에 대해 강건함을 보였다.
• 이론적 분석 결과, 환경 다양성이 성능에 결정적인 역할을 하며, 이를 뒷받침하는 코로나리 4 및 정리 6는 다양한 작업 분포에서 수렴이 향상됨을 암시한다.
• 딥 표현 학습을 통합한 OMAC는 경험적 성능를 추가로 향상시켜, 이 프레임워크가 복잡한 제어 과제에서 확장 가능하고 실용적임을 입증했다.