[논문 리뷰] Boosting for Control of Dynamical Systems

Naman Agarwal, Nataly Brukhim외 2명|arXiv (Cornell University)|2019. 06. 20.

Game Theory and Applications인용 수 5

한 줄 요약

이 논문은 동적 시스템의 온라인 제어를 위한 부스팅 프레임워크를 소개하며, 약한 제어기들을 효율적으로 통합하여 성능이 보장되고 더 나은 강력한 제어기를 얻을 수 있도록 한다. 메모리와 기울기 기반 부스팅을 활용한 온라인 학습 기법을 통해, 볼록 조합의 약한 제어기들과 경쟁 가능한 리그레트 한계를 달성하며, 실험적으로 개별 약한 학습기와 과도하게 파rameter화된 모델보다 뛰어난 성능을 보인다.

ABSTRACT

We study the question of how to aggregate controllers for dynamical systems in order to improve their performance. To this end, we propose a framework of boosting for online control. Our main result is an efficient boosting algorithm that combines weak controllers into a provably more accurate one. Empirical evaluation on a host of control settings supports our theoretical findings.

연구 동기 및 목표

• 강력한 제어기를 설계하는 것이 어려운 동적 시스템에서, 약한 제어기가 쉽게 확보 가능한 상황에서 제어기 성능을 향상시키는 데 도전한다.
• 상태에 의존하는 동역학과 적대적 교란이 존재하는 온라인 비스스로 제어의 맥락에서 부스팅을 체계화한다.
• 이론적 성능 보장을 갖는 효율적인 알고리즘을 개발하여 약한 제어기를 통합해 강력한 제어기를 만든다.
• 실험적으로, 작은 제어기를 부스팅하는 것이 과도하게 파rameter화된 큰 제어기보다 제어 과제에서 더 뛰어난 성능을 내는가를 입증한다.

제안 방법

• 비용과 교란이 시간이 지남에 따라 공개되는 비스스로 제어 설정에서, 상태를 고려한 동적 시스템의 온라인 제어를 위한 부스팅 프레임워크를 제안한다.
• 온라인 학습의 메모리 기반 기법과 온라인 기울기 부스팅을 활용하여, 유한한 리그레트를 유지하는 알고리즘을 설계한다.
• 과거 행동이 H 단계를 초월해 영향을 미치지 않도록 보장하기 위해 메모리 제한 조건(H-유계 메모리)을 도입한다.
• 두 가지 부스팅 알고리즘을 설계한다: 하나는 약한 제어기들의 볼록 조합을 대상으로 하고, 다른 하나는 제곱 손실 기반 약한 제어기를 일반적인 매끄럽고 강력한 볼록 손실 함수로 확장할 수 있도록 한다.
• 과거 성능에 기반해 반복적으로 약한 제어기를 재가중하고 통합하는 부스팅 루프를 적용하여 누적 리그레트를 최소화한다.
• 선형 및 비선형 시스템, 즉 LQR, 가우시안 랜덤 워크, 사인파 교란, 역퍼운드 펜듈럼 설정 등 다양한 시스템에 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 상태가 존재하고 적대적 교란이 있는 동적 시스템의 온라인 제어에 대해 부스팅을 체계적으로 확장할 수 있는가?
• RQ2 제한된 성능을 보이는 약한 제어기를 어떻게 조합하여 제어 과제에서 강력한 성능 보장을 달성할 수 있는가?
• RQ3 제한된 데이터에서 과도하게 파arameter화된 딥 러닝 모델보다 부스팅이 제어 과제에서 더 뛰어난 성능을 내는가?
• RQ4 제곱 손실을 위해 설계된 약한 제어기를 부스팅을 통해 일반적인 매끄럽고 강력한 볼록 손실 함수로 확장할 수 있는가?
• RQ5 메모리 구조(예: 유계 메모리)는 제어에서 부스팅의 이론적 및 실증적 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 부스팅 알고리즘이 최적의 약한 제어기 볼록 조합과 비교해 유사한 리그레트 성능을 달성하며, 향상된 성능에 대한 이론적 보장을 제공한다.
• i.i.d. 노이즈가 존재하는 선형 동적 시스템에서는 부스팅된 제어기가 알려진 최적의 선형 제곱제어기(LQR)의 성능에 매우 가까이 도달한다.
• 가우시안 랜덤 워크와 사인파 교란과 같은 상관관계가 있는 교란이 존재하는 경우, 부스팅된 제어기는 개별 약한 제어기(모든 GPC 및 RNN 기반 기준 모델 포함)를 항상 능가한다.
• 비선형 동역학과 상관관계 있는 노이즈가 존재하는 역퍼운드 펜듈럼 과제에서는 부스팅된 제어기가 시스템을 안정화시키며, 약한 기준 모델과 과도하게 파arameter화된 RNN보다 뛰어난 성능을 보였다.
• 실증 결과로, 동일한 파라미터 수를 갖는 더 큰 과도하게 파arameter화된 RNN을 훈련시키는 것보다 작은 단순한 제어기를 부스팅하는 것이 더 뛰어난 성능을 내는 것으로 나타났다. 이는 부스팅 메커니즘이 성능 향상의 핵심 요소임을 시사한다.
• 이 프레임워크를 통해 제곱 손실 기반의 약한 제어기들이 부스팅 과정을 통해 일반적인 매끄럽고 강력한 볼록 손실 함수를 효과적으로 다룰 수 있게 되었다.