[논문 리뷰] MPC Controller Tuning using Bayesian Optimization Techniques

Qiugang Lu, Ranjeet Kumar외 1명|arXiv (Cornell University)|2020. 09. 29.

Advanced Control Systems Optimization참고 문헌 19인용 수 25

한 줄 요약

이 논문은 냉난방 시설(HVAC) 플랜트에서 모델 예측 제어(MPC) 파ameter를 효율적으로 튜닝하기 위해 베이지안 최적화(BO) 프레임워크를 제안한다. 이는 폐쇄 루프 성능을 블랙박스 함수로 간주한다. 탐색과 이용의 전략적 균형을 통해 BO는 기존의 격자 검색 방식에서 수백 번이었던 연간 시뮬레이션 횟수를 단 13회로 줄였으며, 열 저장 탱크의 백오프 항목을 최적화함으로써 낮은 폐쇄 루프 비용을 달성한다.

ABSTRACT

We present a Bayesian optimization (BO) framework for tuning model predictive controllers (MPC) of central heating, ventilation, and air conditioning (HVAC) plants. This approach treats the functional relationship between the closed-loop performance of MPC and its tuning parameters as a black-box. The approach is motivated by the observation that evaluating the closed-loop performance of MPC by trial-and-error is time-consuming (e.g., every closed-loop simulation can involve solving thousands of optimization problems). The proposed BO framework seeks to quickly identify the optimal tuning parameters by strategically exploring and exploiting the space of the tuning parameters. The effectiveness of the BO framework is demonstrated by using an MPC controller for a central HVAC plant using realistic data. Here, the BO framework tunes back-off terms for thermal storage tanks to minimize year-long closed-loop costs. Simulation results show that BO can find the optimal back-off terms by conducting 13 year-long simulations, which significantly reduces the computational burden of a naive grid search. We also find that the back-off terms obtained with BO reduce the closed-loop costs.

연구 동기 및 목표

• 시험·오차 또는 격자 검색을 통한 MPC 컨트롤러 튜닝의 높은 계산 비용 문제를 해결하기 위해.
• 최적의 MPC 튜닝 파ameter를 식별하기 위해 필요한 고비용의 연간 폐쇄 루프 시뮬레이션 횟수를 줄이기 위해.
• 열 에너지 저장 탱크의 백오프 항목을 최적화하여 경제적 성능을 향상시키기 위해.
• 블랙박스이자 계산적으로 비용이 많이 드는 MPC 튜닝 문제에 베이지안 최적화가 얼마나 효과적인지 입증하기 위해.
• 경험적 또는 수동 튜닝 방법의 대안으로 체계적이고 데이터 기반의 접근 방식을 제공하기 위해.

제안 방법

• 목표 함수 f(ξ)는 폐쇄 루프 비용을 나타내며, ξ는 백오프 항목과 같은 튜닝 파am터를 의미하는 블랙박스 최적화 문제로 MPC 튜닝을 수립한다.
• 알 수 없는 목표 함수를 근사하기 위해 가우시안 프로세스(GP) 서로서 모델을 사용하며, 초모수 l=1, ν=5/2, σ²=1e−6를 가진 Matérn 5/2 커널을 적용한다.
• 탐색과 이용의 균형을 이루기 위해 상한 신뢰도(UCB) 획득 함수(κ=2.6)를 사용한다.
• 반복적으로 획득 함수를 최대화하는 샘플링 위치를 선택하기 전에 n=3개의 초기 시뮬레이션 점을 설정하여 BO 프로세스를 시작한다.
• 각 반복에서 획득 함수 최대화 하위 문제를 해결하기 위해 L-BFGS 알고리즘을 적용한다.
• 실제 비용 분포를 전면 폐쇄 루프 평가 없이 시뮬레이션한 81회의 이전 시뮬레이션을 기반으로 유도된 합성 목표 표면을 사용하여 방법을 검증한다.

실험 결과

연구 질문

• RQ1 베이지안 최적화가 HVAC 시스템의 MPC 컨트롤러 튜닝에 필요한 폐쇄 루프 시뮬레이션 횟수를 상당히 줄일 수 있는가?
• RQ2 격자 검색 또는 히우리스틱 방법에 비해 BO는 열 저장 탱크의 최적 백오프 항목을 얼마나 효과적으로 식별하는가?
• RQ3 UCB 획득 함수를 사용하는 서로서 GP 모델이 MPC 튜닝에서 수렴 속도와 해의 품질을 향상시키는가?
• RQ4 HVAC MPC 컨트롤러의 비볼록 튜닝 파am터 공간에서 BO는 국소 최솟값을 어느 정도 피할 수 있는가?
• RQ5 최적의 백오프 파am터 튜닝을 통해 BO는 연간 HVAC 운영에서 의미 있는 비용 절감을 달성할 수 있는가?

주요 결과

• 베이지안 최적화는 단 13회의 폐쇄 루프 시뮬레이션으로 최적의 백오프 항목을 식별했으며, 이는 기존의 조밀한 격자 검색 방식(81회 필요)에 비해 극적으로 줄어든 횟수이다.
• BO로 최적화된 백오프 항목은 모든 주간에 걸쳐 일관되게 주간 HVAC 운영 비용을 낮추었으며, 특히 8월 말에 가장 큰 절감 효과를 보였다.
• 초기 탐색 단계 이후 10회 이내에 전역 최솟값으로 수렴하여 빠르고 안정적인 수렴을 보였다.
• 전역 최솟값 근처에서는 획득 함수 값이 낮게 유지되고 국소 최솟값 근처에서는 높게 유지되어 BO가 비최적 영역을 효과적으로 피했다는 것을 나타낸다.
• GP 모델의 사후 평균이 빠르게 안정화되어 서로서 모델링의 신뢰성과 최적화 과정의 수렴을 확인했다.
• 결과적으로 BO는 최소한의 시뮬레이션 노력으로 최적의 MPC 튜닝 파am터를 식별함으로써 상당한 경제적 절감 효과를 달성할 수 있음을 보여준다.