[논문 리뷰] Event-triggered Learning for Linear Quadratic Control

Henning Schlüter, Friedrich Solowjow외 1명|arXiv (Cornell University)|2019. 10. 17.

Fault Detection and Control Systems참고 문헌 62인용 수 23

한 줄 요약

이 논문은 선형 정합 제어를 위한 이벤트 트리거드 러닝 프레임워크를 제안하며, 체르노프 경계를 통해 유도된 모델 예측 신뢰구간에서 경험적 비용 분포의 이탈을 모니터링하여 모델 정확도 부족을 자동으로 감지한다. 통계적으로 유의미한 불일치가 발생할 경우에만 모델 재추정을 트리거하며, 하드웨어 실험에서 제어 비용을 최대 50%까지 감소시키면서 불필요한 학습을 피하고 프로세스 노이즈에 대해 강건하게 대응한다.

ABSTRACT

When models are inaccurate, the performance of model-based control will degrade. For linear quadratic control, an event-triggered learning framework is proposed that automatically detects inaccurate models and triggers the learning of a new process model when needed. This is achieved by analyzing the probability distribution of the linear quadratic cost and designing a learning trigger that leverages Chernoff bounds. In particular, whenever empirically observed cost signals are located outside the derived confidence intervals, we can provably guarantee that this is with high probability due to a model mismatch. With the aid of numerical and hardware experiments, we demonstrate that the proposed bounds are tight and that the event-triggered learning algorithm effectively distinguishes between inaccurate models and probabilistic effects such as process noise. Thus, a structured approach is obtained that decides when model learning is beneficial.

연구 동기 및 목표

• 모델 기반 LQR 제어에서 시스템 모델의 정확도 부족으로 인한 성능 저하 문제를 해결하기 위해.
• 지속적 또는 부적절한 타이밍의 업데이트를 피하기 위해 *언제* 모델 학습을 시작할지 결정하는 원칙적인, 데이터 기반의 방법을 개발하기 위해.
• LQR 비용에 대한 통계적 신뢰구간을 사용하여 모델 불일치와 프로세스 노이즈와 같은 확률적 효과를 구분하기 위해.
• 성능이 모델 예측에서 유의미하게 이탈할 경우에만 학습을 트리거함으로써 실시간으로 적응 가능한 제어를 가능하게 하기 위해.
• 최적 제어 이론과 통계적 학습을 융합하여 제어기 안정성을 유지하면서 자원 사용을 최소화하는 방식으로 구현하기 위해.

제안 방법

• 모델 가정 하에 LQR 비용의 전체 확률 분포를 특성화하기 위해 비용의 모멘트 생성 함수(MGF)를 유도한다.
• MGF를 기반으로 사전에 지정된 확률 질량을 포함하는 비용에 대한 신뢰구간을 계산하기 위해 체르노프 경계를 사용한다.
• 경험적으로 관측된 비용이 이러한 신뢰구간을 벗어날 경우에만 작동하는 학습 트리거를 설계한다.
• 일시적인 간섭으로 인한 오진 경고를 줄이기 위해 최소 10초 이상의 위반 지속 시간을 요구하는 히스테리시스 메커니즘을 도입한다.
• 오프라인 학습 단계 동안 자극 신호를 사용하여 예측 오차 최소화 기반으로 모델 재추정을 수행한다.
• 최근에 학습된 모델과 노이즈 공분산 추정치를 사용하여 제어기와 트리거 임계값을 업데이트한다.

실험 결과

연구 질문

• RQ1 모델의 모멘트 생성 함수(MGF)에서 유도된 LQR 비용에 대한 통계적 신뢰구간을 통해 모델 불일치를 감지할 수 있는가?
• RQ2 체르노프 경계를 효과적으로 활용하여 모델 오차와 프로세스 노이즈를 구분하는 학습 트리거를 설계할 수 있는가?
• RQ3 이벤트 트리거드 러닝 프레임워크는 실질적으로 제어 비용을 감소시키면서 불필요한 학습을 최소화하는가?
• RQ4 실제 하드웨어에서 단기적 간섭과 비정상성에 대해 트리거는 얼마나 강건한가?
• RQ5 갑작스럽게 변화한 시스템 동역학(예: 추가된 질량 또는 변화한 평형 상태)을 감지하고 적응할 수 있는가?

주요 결과

• 체르노프 기반 트리거는 초기 설정에서 모델이 약간 잘못되어 있음에도 불구하고 모델 불일치를 성공적으로 감지하였으며, 운영 후 17.758초 만에 학습을 트리거하였다.
• 모델 업데이트 이후 평균 제어 비용은 초기에 정확도가 떨어지는 모델 대비 약 50% 감소하였다.
• 374.272초에 펜듈럼에 질량을 추가한 새로운 동역학 변화가 발생했을 때도 트리거는 정상적으로 새로운 변화를 감지하여, 구조적 변화에 대한 강건성을 확인하였다.
• 트리거가 일시적인 비용 하락 동안 작동하지 않았음을 통해, 이 방법이 모델 불일치와 무작위 변동성을 효과적으로 구분함을 입증하였다.
• 하드웨어 구현 결과, 비선형성과 시간에 따라 변하는 배선 영향 등이 존재하는 실제 시스템에서도 이 방법이 실현 가능함을 보였다.
• 10초 히스테리시스 조건의 사용은 단기적 간섭에 대한 감지 강건성을 크게 향상시켰다.