[논문 리뷰] Learning Convex Optimization Control Policies

Akshay Agrawal, Shane Barratt외 2명|arXiv (Cornell University)|2019. 12. 19.

Advanced Control Systems Optimization참고 문헌 70인용 수 9

한 줄 요약

이 논문은 볼록 최적화 제어 정책(COCPs)의 파라미터를 자동으로 튜닝하기 위한 방법을 제안한다. 이 방법은 효율적인 볼록 최적화 해의 도함수를 활용한 근사 기울기 하강법을 사용하며, 실제 제어 과제—예를 들어 공급망 관리—에서 성능을 향상시킨다. 200회 반복 학습 과정에서 비용을 22.35% 감소시켜, 볼록성 조건이 성능 지표에 필요하지 않은 상황에서도 안정적이고 확장 가능한 파라미터 튜닝을 입증한다.

ABSTRACT

Many control policies used in various applications determine the input or action by solving a convex optimization problem that depends on the current state and some parameters. Common examples of such convex optimization control policies (COCPs) include the linear quadratic regulator (LQR), convex model predictive control (MPC), and convex control-Lyapunov or approximate dynamic programming (ADP) policies. These types of control policies are tuned by varying the parameters in the optimization problem, such as the LQR weights, to obtain good performance, judged by application-specific metrics. Tuning is often done by hand, or by simple methods such as a crude grid search. In this paper we propose a method to automate this process, by adjusting the parameters using an approximate gradient of the performance metric with respect to the parameters. Our method relies on recently developed methods that can efficiently evaluate the derivative of the solution of a convex optimization problem with respect to its parameters. We illustrate our method on several examples.

연구 동기 및 목표

• 제어 시스템에서 널리 사용되지만 전통적으로 수작업 또는 격자 탐색을 통해 튜닝되는 볼록 최적화 제어 정책(COCPs)의 파라미터 자동 튜닝을 위한 것이다.
• 성능 지표에 대한 정책 파라미터에 대한 근사 기울기를 활용한 스케일러블하고 미분 가능한 COCP 파라미터 최적화 방법을 개발하기 위한 것이다.
• 볼록 최적화 해의 해법 지도의 내재적 미분 가능성에 기반해 안정적이고 안전하며 효율적인 파라미터 튜닝을 가능하게 하기 위한 것이다.
• 이 방법을 제어를 넘어서 상태 추정 및 예측 과제에까지 확장하기 위한 것이다.
• 실제 응용 분야인 공급망 관리 및 모델 예측 제어에서 이 방법의 효과성을 입증하기 위한 것이다.

제안 방법

• 이 방법은 성능 지표에 대한 파라미터에 대한 근사 기울기를 계산하여 COCP 파라미터를 투영된 확률적 기울기 하강법으로 최적화한다.
• 최근 개발된 기법을 활용해 볼록 최적화 문제의 해에 대한 파라미터에 대한 도함수를 효율적으로 계산한다.
• 자동 미분와 볼록 최적화 문제의 민감도 분석을 결합하여 해의 지도를 통해 역전파를 가능하게 한다.
• 성능 지표는 폐쇄 루프 시스템의 시뮬레이션을 통해 평가되며, 외란에 대한 몬테카를로 샘플링을 통해 기울기를 추정한다.
• 이 방법은 LQR, MPC, ADP 정책을 포함한 모든 COCP에 적용 가능하며, 파arameterized된 최적화 문제를 미분 가능한 함수로 간주함으로써 적용 가능하다.
• 이 방법은 제어기 파라미터와 MPC 내 외란 예측 모델 등 여러 구성 요소의 동시 튜닝을 지원한다.

실험 결과

연구 질문

• RQ1 기울기 기반 최적화를 통해 볼록 최적화 제어 정책을 자동 튜닝할 수 있는가? 수작업 또는 격자 기반 탐색을 피할 수 있는가?
• RQ2 정책이 볼록 최적화 문제를 푸는 방식으로 정의될 경우, 성능 지표에 대한 COCP 파라미터에 대한 기울기를 어떻게 효율적으로 계산할 수 있는가?
• RQ3 기본 튜닝 방법과 비교했을 때, 이 방법이 실제 제어 및 공급망 시스템에서 성능을 얼마나 향상시킬 수 있는가?
• RQ4 이 방법을 제어 정책과 상태 추정기 또는 예측 모델의 동시 튜닝에까지 확장할 수 있는가?
• RQ5 비볼록 또는 히우리스틱 제어 정책에 적용했을 때, 지역 최적값에 갇힐 수 있더라도 실질적인 성능 향상은 어느 정도 이루어지는가?

주요 결과

• 공급망 제어 과제에서 평균 비용이 200회 반복 동안 -0.279에서 -0.341로 22.35% 감소하였다.
• 튜닝된 정책은 고가의 공급자 또는 낮은 소비 수요를 가진 노드에서의 보관 비용을 보상함으로써, 학습된 $ S^T S $ 및 $ q $ 파라미터에 반영되었다.
• 이 방법은 $ n=4 $개의 노드와 $ T=20 $개의 시간 단위를 가진 공급망 정책을 성공적으로 튜닝하여, 비미니멀 시스템에 대한 확장성도 입증하였다.
• 성능 지표가 파라미터에 대해 비볼록일 경우에도 안정적이고 의미 있는 향상이 이루어져, 국소 최적점에 대한 강건성을 보였다.
• 볼록 최적화 문제의 해법 지도는 미분 가능했으며, 이는 효율적인 기울기 계산과 자동 미분 프레임워크와의 통합을 가능하게 하였다.
• 이 방법은 일반적이며 LQR, MPC, ADP를 포함한 다양한 COCP에 적용 가능하며, 상태 추정 및 예측 과제에도 적용 가능하다.