[논문 리뷰] Online Optimization with Feedback

Andrey Bernstein, Emiliano Dall’Anese외 1명|arXiv (Cornell University)|2018. 04. 14.

Distributed Control Multi-Agent Systems인용 수 6

한 줄 요약

이 논문은 시간에 따라 변화하는 볼록 최적화 문제를 동적 시스템에서 해결하기 위해 원리-이중 투영-기울기 방법을 사용하는 온라인 피드백 기반 최적화 알고리즘을 제안한다. 실시간 피드백과 정규화된 라그랑주 함수를 통합함으로써, 모델 불일치가 있더라도 외부 입력 측정치가 필요로 하지 않으며 최적 궤적으로 Q-선형 수렴을 달성한다.

ABSTRACT

This paper addresses the design and analysis of feedback-based algorithms to control systems or networked systems based on performance objectives and engineering constraints that may evolve over time. The emerging time-varying convex optimization formalism is leveraged to model optimal operational trajectories of the systems, as well as explicit local and network-level operational constraints. Departing from existing batch and feed-forward optimization approaches, the design of the algorithms capitalizes on an implementation of primal-dual projected-gradient methods; the gradient steps are, however, suitably modified to accommodate actionable feedback from the system - hence, the term online optimization with feedback. By virtue of this approach, the resultant algorithms can cope with model mismatches in the algebraic representation of the system states and outputs, it avoids pervasive measurements of exogenous inputs, and it naturally lends itself to a distributed implementation. Under suitable assumptions, analytical convergence claims are established in terms of dynamic regret. Moreover, when the synthesis of the feedback-based algorithm is based on a regularized Lagrangian function, Q-linear convergence to solutions of the time-varying optimization problem is shown.

연구 동기 및 목표

• 실시간 피드백을 활용하여 시간에 따라 변화하는 目적과 제약 조건을 가진 동적 시스템을 제어하는 데 도전 과제를 해결하기 위해.
• 배치 최적화와 피드포워드 최적화의 한계를 극복하여 적응형 실시간 의사결정을 가능하게 하기 위해.
• 시스템 상태 및 출력 표현의 모델 불일치에 강건한 알고리즘을 설계하기 위해.
• 외부 입력에 대한 전체 지식이 필요로 하지 않는 네트워크 시스템에서의 분산 구현을 지원하기 위해.
• 시간에 따라 변화하는 조건에서 동적 위험도와 정규화된 라그랑주 함수를 사용하여 이론적 수렴 보장을 수립하기 위해.

제안 방법

• 방법은 시간에 따라 변화하는 볼록 최적화 문제를 해결하기 위해 원리-이중 투영-기울기 반복을 사용한다.
• 기울기 단계는 시스템의 실시간 가용한 피드백을 통합하여 온라인 적응을 가능하게 하도록 수정된다.
• 정규화된 라그랑주 함수는 최적화 과정을 안정화하고 수렴을 향상시키는 데 사용된다.
• 알고리즘은 외부 입력 측정치에 의존하지 않고 시스템 피드백에 집중함으로써 외부 입력 측정치에 대한 의존도를 줄인다.
• 시스템 상태 및 출력 표현의 모델 불일치는 피드백 기반 업데이트를 통해 수용된다.
• 지역 제약 조건이 있는 네트워크 시스템에서의 분산 구현을 자연스럽게 지원한다.

실험 결과

연구 질문

• RQ1 시간에 따라 변화하는 시스템 목표와 제약 조건을 다루기 위해 피드백을 온라인 최적화에 효과적으로 통합하는 방법은 무엇인가?
• RQ2 동적이고 시간에 따라 변화하는 환경에서 피드백 기반 알고리즘의 수렴 보장을 어떻게 확보할 수 있는가?
• RQ3 라그랑주 함수의 정규화가 온라인 최적화에서 수렴 행동을 어떻게 향상시키는가?
• RQ4 제안된 방법은 시스템 상태 및 출력 표현의 모델 부정확성에 어떻게 대처하는가?
• RQ5 외부 입력 측정치를 측정하지 않고도 알고리즘을 분산 방식으로 구현할 수 있는가?

주요 결과

• 정규화된 라그랑주 함수를 사용할 경우 제안된 피드백 기반 알고리즘이 시간에 따라 변화하는 최적화 문제의 해로 Q-선형 수렴을 달성한다.
• 동적 위험도 기반으로 수렴이 확립되어 시간에 따라 변화하는 환경에서의 성능에 대한 이론적 보장을 제공한다.
• 이 방법은 시스템 상태 및 출력의 대수적 표현에서의 모델 불일치에 강건하다.
• 외부 입력 측정치의 광범위한 측정이 필요 없이 실질적인 피드백에 의존한다.
• 지역 및 전역 제약 조건이 있는 네트워크 시스템에 적합한 분산 구현을 지원한다.
• 이론적 분석은 피드백 메커니즘이 변화하는 시스템 조건 하에서 안정적이고 적응형 최적화를 가능하게 한다고 확인한다.