[논문 리뷰] Model-Free Nonlinear Feedback Optimization

Zhiyu He, Saverio Bolognani외 3명|arXiv (Cornell University)|2022. 01. 07.

Advanced Control Systems Optimization참고 문헌 55인용 수 1

한 줄 요약

이 논문은 식물 모델 지식이 없이도 비선형 동적 시스템에서 효율적인 정상 상태 운영을 달성하는 모델 프리 피드백 최적화 컨트롤러를 제안한다. 입력-출력 평가로부터 기울기를 추정하고, 제약 조건을 위해 프랭크-울프 유형의 갱신을 사용함으로써, 문제 차원, 반복 횟수, 식물 동역학과 비례하는 하위최적성에 대한 명시적 경계를 갖는 근사 최적 해로의 수렴을 보장한다.

ABSTRACT

Feedback optimization is a control paradigm that enables physical systems to autonomously reach efficient operating points. Its central idea is to interconnect optimization iterations in closed-loop with the physical plant. Since iterative gradient-based methods are extensively used to achieve optimality, feedback optimization controllers typically require the knowledge of the steady-state sensitivity of the plant, which may not be easily accessible in some applications. In contrast, in this paper, we develop a model-free feedback controller for efficient steady-state operation of general dynamical systems. The proposed design consists of updating control inputs via gradient estimates constructed from evaluations of the nonconvex objective at the current input and at the measured output. We study the dynamic interconnection of the proposed iterative controller with a stable nonlinear discrete-time plant. For this setup, we characterize the optimality and stability of the closed-loop behavior as functions of the problem dimension, the number of iterations, and the rate of convergence of the physical plant. To handle general constraints that affect multiple inputs, we enhance the controller with Frank-Wolfe-type updates.

연구 동기 및 목표

• 식물 모델이 가용하지 않거나 정확하지 않을 경우 비선형 동적 시스템에서 정상 상태 운영을 최적화하는 데 도전하는 문제를 해결한다.
• 식물 민감도나 동역학에 대한 지식 없이도 실시간 입력-출력 측정치만을 기반으로 작동하는 피드백 최적화 컨트롤러를 개발한다.
• 일반적인 비볼록 目적 함수와 제약 조건 하에서, 측정되지 않은 외란이 존재하더라도 근사 최적 해로의 수렴을 보장한다.
• 폐쇄 루프 작동 중 수렴 속도, 문제 차원, 하위최적성 간의 상호 상관 관계를 규명한다.
• 프랭크-울프 유형의 반복적 갱신을 통해 다중 입력 제약 조건을 다룰 수 있는 프레임워크를 확장한다.

제안 방법

• 현재 입력과 측정된 출력에서 目적 함수를 평가함으로써 유한 차분을 사용해 기울기 추정을 구성함으로써 모델 프리 작동을 가능하게 한다.
• 실시간으로 입력-출력 측정치를 기반으로 기울기 추정치를 이용해 제어 입력을 반복적으로 갱신하는 피드백 컨트롤러를 설계한다.
• 유한 차분 기반의 라플라스 분석을 통해 동역학이 유계인 이산 시간 비선형 식물에서 안정성과 수렴성을 확립한다.
• 일반적인 제약 조건이 다수의 입력에 영향을 주는 경우를 다루기 위해 프랭크-울프 유형의 갱신을 도입하여 최적화 중 제약 조건 이행을 보장한다.
• 추정 오차를 제어하고 반복 횟수 T와 변동 크기 δ에 따른 수렴 속도를 유도하기 위해 부드러운 목적 함수 근사 ˜Φδ를 사용한다.
• 스토하스틱 근사 기법과 분산 경계를 적용하여 추정된 기울기와 진짜 기울기 사이의 오차를 제어함으로써 하위최적성 경계를 도출한다.

실험 결과

연구 질문

• RQ1 식물 민감도에 대한 지식이 없이도 일반적인 비선형 동적 시스템에 대해 피드백 최적화를 어떻게 모델 프리로 구현할 수 있는가?
• RQ2 비볼록 目적 함수와 비선형 식물 동역학 하에서 모델 프리 피드백 컨트롤러의 수렴 성질과 하위최적성 경계는 어떻게 되는가?
• RQ3 문제 차원, 반복 횟수, 식물 수렴 속도가 함께 폐쇄 루프 시스템 성능에 어떻게 영향을 미치는가?
• RQ4 패널티 함수에 의존하지 않고도 제약 조건 처리를 효과적으로 모델 프리 피드백 최적화에 통합할 수 있는가?
• RQ5 측정 노이즈와 시스템 동역학이 존재할 경우 기울기 추정 정확도, 스텝 크기, 수렴 속도 간의 상호 상관 관계는 어떻게 되는가?

주요 결과

• 제안된 컨트롤러는 기대값 기준으로 하위최적성 경계가 O(1/√T)로 제한되며, 문제 차원, 식물 동역학, 기울기 추정 오차에 명시적인 의존성을 갖는다.
• 스텝 크기를 η = κ√ϵ/√T로 설정하고, 변동 크기를 δ = ϵ/M로 설정함으로써, 수렴 속도가 O(1/√T)로 정량적으로 특성화된다. 이는 기울기 추정 정확도를 확보한다.
• 하위최적성 경계에는 라플라스 함수 감쇠율 µ와 상태 변동 경계와 같은 식물 동역학 관련 항목이 포함되어 있어, 더 빠르게 안정되는 식물일수록 수렴 성능이 향상됨을 보여준다.
• 프랭크-울프 확장은 최적화 중 제약 조건 이행을 보장하여 패널티 기반 방법이 정확히 제약 조건을 이행하지 못할 수 있는 문제를 피한다.
• 기대 기울기 추정 오차에 대한 엄밀한 경계를 제공하며, 이는 O(√(η²D² + δ²))로 스케일링되며, 여기서 D는 입력 집합의 지름이다.
• 이론적 프레임워크는 측정 노이즈와 동적 식물 행동을 모두 고려한 라플라스 기반 안정성 분석을 통해 검증되었으며, 외란에 대한 강건성을 보장한다.