[논문 리뷰] Online Stochastic Optimization for Unknown Linear Systems: Data-Driven Synthesis and Controller Analysis

Gianluca Bianchin, Luis M. Vaquero외 2명|arXiv (Cornell University)|2021. 08. 30.

Traffic Prediction and Management Techniques인용 수 6

한 줄 요약

이 논문은 시스템 동역학이나 외란 분포에 대한 사전 지식 없이도, 알려지지 않은 스토케스틱 선형 시간 불변(LTI) 시스템을 시간에 따라 변화하는 스토케스틱 최적화 문제의 해로 조정하는 데이터 기반 제어기를 제안한다. 개방 루프 입력-출력 데이터로부터 직접 정 steady-state 전이 함수를 추정함으로써, 확률적 경사 하강법에 영감을 받은 제어기가 수축성임을 보장하는 폐루프 동역학을 달성하여, 모델 불확실성과 노이즈가 존재하는 상황에서도 안정적인 최적화 추적을 보장한다.

ABSTRACT

This paper proposes a data-driven control framework to regulate an unknown, stochastic linear dynamical system to the solution of a (stochastic) convex optimization problem. Despite the centrality of this problem, most of the available methods critically rely on a precise knowledge of the system dynamics (thus requiring off-line system identification and model refinement). To this aim, in this paper we first show that the steady-state transfer function of a linear system can be computed directly from control experiments, bypassing explicit model identification. Then, we leverage the estimated transfer function to design a controller -- which is inspired by stochastic gradient descent methods -- that regulates the system to the solution of the prescribed optimization problem. A distinguishing feature of our methods is that they do not require any knowledge of the system dynamics, disturbance terms, or their distributions. Our technical analysis combines concepts and tools from behavioral system theory, stochastic optimization with decision-dependent distributions, and stability analysis. We illustrate the applicability of the framework on a case study for mobility-on-demand ride service scheduling in Manhattan, NY.

연구 동기 및 목표

• 시스템 동역학과 외란 분포를 사전에 알 수 없는 알려지지 않은 스토케스틱 선형 시스템 제어의 과제를 해결한다.
• 정확한 시스템 식별과 모델 정밀화를 요구하는 기존의 모델 기반 제어 방법의 한계를 극복한다.
• 개방 루프 실험에서의 입력-출력 데이터만을 사용하여 시스템을 시간에 따라 변화하는 스토케스틱 볼록 최적화 문제의 해로 온라인 조정할 수 있도록 한다.
• 시스템 파ameter와 외란에 대한 불확실성에도 불구하고 제어기 성능에 대한 이론적 보장을 수립한다.
• 맨해튼에서의 모빌리티온디맨드 라이드소싱 사례 연구를 통해 프레임워크의 실용적 타당성을 입증한다.

제안 방법

• 시스템 매트릭스를 추정하지 않고도 유한 길이의 비정상 상태 입력-출력 궤적에서 직접 알려지지 않은 LTI 시스템의 정 steady-state 전이 함수를 추정한다.
• 행동 시스템 이론을 활용하여, 시스템 매트릭스에 대한 지식 없이도 단일 충분히 풍부한 궤적에서 전이 함수를 계산할 수 있음을 보여준다.
• 추정된 전이 함수를 사용하여 시간에 따라 변화하는 스토케스틱 최적화 문제의 해로 시스템을 이끄는, 확률적 경사 하강법에 영감을 받은 데이터 기반 제어기를 도입한다.
• 외란이 존재할 경우 전이 함수 추정의 근사 오차를 특성화하고, 이를 통해 발생하는 추적 오차를 명시적으로 경계한다.
• 속도와 모델 불확실성에 대한 내성 강인성을 균형 잡기 위해 제어기 이득을 설계하여 폐루프 동역학의 엄격한 수축성을 보장한다.
• 최적화 문제의 제약 조건을 준수하기 위해 투영된 제어기 갱신을 사용하여 실용적 응용(예: 라이드소싱)에서의 타당성을 확보한다.

실험 결과

연구 질문

• RQ1 알려지지 않은 LTI 시스템의 정 steady-state 전이 함수는 시스템 식별 없이 입력-출력 데이터에서 직접 추정할 수 있는가?
• RQ2 알려지지 않은 스토케스틱 LTI 시스템을 시간에 따라 변화하는 스토케스틱 최적화 문제의 해로 조정하기 위해 어떻게 제어기를 설계할 수 있는가?
• RQ3 알 수 없는 외란은 데이터 기반 전이 함수 추정의 정확성과 그에 따른 제어기 성능에 어떤 영향을 미치는가?
• RQ4 시스템 동역학과 외란 분포가 알려지지 않은 상황에서 폐루프 시스템이 안정적이고 수축적으로 유지되는 조건는 무엇인가?
• RQ5 실제 응용 분야인 모빌리티온디맨드 시스템과 같은 환경에서 제안된 데이터 기반 제어기는 고정 정책 또는 모델 기반 접근법보다 어떻게 비교되는가?

주요 결과

• 알려지지 않은 LTI 시스템의 정 steady-state 전이 함수는 시스템 매트릭스 추정 없이도 단일 유한 길이의 입력-출력 궤적에서 직접 계산할 수 있다.
• 외란이 존재할 경우 데이터 기반 전이 함수 추정은 유계 근사 오차를 유발하며, 이는 논문에서 명시적으로 특성화되어 있다.
• 적절한 제어기 이득을 선택할 경우 제안된 제어기는 폐루프 동역학이 엄격하게 수축성을 확보한다—시스템보다 느리게 작동하도록 충분히 작은 값이면서도 모델 불확실성으로 인한 분포 이동을 상쇄할 수 있도록 충분히 큰 값이다.
• 모의 실험을 통해 추적 오차는 10⁻² 수준의 안정 상태 값으로 수렴하며, 시간에 따라 변화하는 최적화 해로 인해 더 이상 감소하지 않음을 확인하였다.
• 모빌리티온디맨드 사례 연구에서 제어기를 기반으로 한 적응형 가격 정책은 고정 가격 정책보다 더 높은 라이드 수락률, 수익 및 플릿 활용률을 달성하였다.
• 수요 변동이 발생할 경우 특히 제어기가 동적으로 가격을 조정하여 플릿 활용률과 수익성을 극대화함으로써 고정 가격 정책보다 뛰어난 성능을 보였다.