[論文レビュー] MPC Controller Tuning using Bayesian Optimization Techniques

Qiugang Lu, Ranjeet Kumar+1 more|arXiv (Cornell University)|Sep 29, 2020

Advanced Control Systems Optimization参考文献 19被引用数 25

ひとこと要約

本稿では、HVACプラントにおけるモデル予測制御（MPC）パラメータを効率的にチューニングするためのベイジアン最適化（BO）フレームワークを提案する。閉ループ性能をブラックボックス関数として扱い、探索と活用の戦略的バランスをとることで、100回程度の年間シミュレーションを要するグリッドサーチに比べ、わずか13回のシミュレーションにまで削減し、熱蓄熱タンクのバックオフ項の最適化によって閉ループコストを低減した。

ABSTRACT

We present a Bayesian optimization (BO) framework for tuning model predictive controllers (MPC) of central heating, ventilation, and air conditioning (HVAC) plants. This approach treats the functional relationship between the closed-loop performance of MPC and its tuning parameters as a black-box. The approach is motivated by the observation that evaluating the closed-loop performance of MPC by trial-and-error is time-consuming (e.g., every closed-loop simulation can involve solving thousands of optimization problems). The proposed BO framework seeks to quickly identify the optimal tuning parameters by strategically exploring and exploiting the space of the tuning parameters. The effectiveness of the BO framework is demonstrated by using an MPC controller for a central HVAC plant using realistic data. Here, the BO framework tunes back-off terms for thermal storage tanks to minimize year-long closed-loop costs. Simulation results show that BO can find the optimal back-off terms by conducting 13 year-long simulations, which significantly reduces the computational burden of a naive grid search. We also find that the back-off terms obtained with BO reduce the closed-loop costs.

研究の動機と目的

• MPCコントローラーのチューニングに、試行錯誤やグリッドサーチを用いることで生じる高い計算コストを解消すること。
• 最適なMPCチューニングパラメータを同定するために必要な高価な年間閉ループシミュレーション回数を削減すること。
• 熱蓄熱タンクのバックオフ項の最適化を通じて経済的パフォーマンスを向上させること。
• ブラックボックスで計算コストの高いMPCチューニング問題に対して、ベイジアン最適化の有効性を示すこと。
• ヒューリスティックまたは手動チューニング手法の代替として、体系的かつデータ駆動型の代替手法を提供すること。

提案手法

• MPCチューニングをブラックボックス最適化問題として定式化し、目的関数f(ξ)を閉ループコスト、ξをバックオフ項などのチューニングパラメータとして定義する。
• 未知の目的関数を近似するためのガウス過程（GP）スレーブモデルを採用し、ハイパーパラメータl=1、ν=5/2、σ²=1e−6を有するマテرن5/2カーネルを用いる。
• 探索と活用のバランスをとるために、上側信頼区間（UCB）の獲得関数（κ=2.6）を用いる。
• 反復的に獲得関数を最大化するサンプリング位置を選択する前に、n=3の初期シミュレーション点からBOプロセスを開始する。
• 各反復で獲得関数最大化のサブプロブレムを解くためにL-BFGSアルゴリズムを適用する。
• 真のコストランドスケープを完全な閉ループ評価なしに再現するため、81回の過去のシミュレーションから導出された合成目的関数表面を用いて手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 ベイジアン最適化は、HVACシステムにおけるMPCコントローラーのチューニングに必要な閉ループシミュレーション回数を顕著に削減できるか？
• RQ2 グリッドサーチやヒューリスティック手法と比較して、BOは熱蓄熱タンクの最適バックオフ項を効果的に特定できるか？
• RQ3 UCB獲得関数を用いたスレーブGPモデルの使用は、MPCチューニングにおける収束速度と解の品質を向上させるか？
• RQ4 HVAC MPCコントローラーの非凸なチューニングパrameter空間において、BOは局所最適解をどれほど効果的に回避できるか？
• RQ5 最適なバックオフパラメータのチューニングを通じて、BOは年間HVAC運用における有意なコスト削減を達成できるか？

主な発見

• ベイジアン最適化は、わずか13回の閉ループシミュレーションで最適なバックオフ項を同定した。これは、粗いグリッドサーチで必要となる81回のシミュレーションに比べ、顕著な削減である。
• BOで最適化されたバックオフ項は、全週にわたり一貫して週単位のHVAC運用コストを低減し、特に8月下旬に最大の節約効果が見られた。
• 初期の探索フェーズを経て10反復以内にグローバル最小値に収束した。これは、高速かつ安定した収束を示している。
• グローバル最適解付近では獲得関数値が低く保たれ、局所最適解付近では高い値を示した。これは、BOが部分最適解領域を効果的に回避していることを示している。
• GPモデルの事後平均は急速に安定化し、信頼性の高いスレーブモデリングと最適化プロセスの収束を確認した。
• 結果から、BOは最小限のシミュレーションで最適なMPCチューニングパラメータを同定でき、顕著な経済的コスト削減を実現できることを示している。