[論文レビュー] A Sensitivity-based Data Augmentation Framework for Model Predictive Control Policy Approximation

Dinesh Krishnamoorthy|arXiv (Cornell University)|Sep 15, 2020

Advanced Control Systems Optimization参考文献 31被引用数 14

ひとこと要約

本稿では、オフラインに解いた非線形計画問題（NLP）のパラメトリック感度を用いて追加のトレーニングサンプルを生成することで、モデル予測制御（MPC）ポリシー近似のトレーニングにかかる計算コストを低減する感度に基づくデータ拡張フレームワークを提案する。NLP感度からの接線予測子を活用することで、完全な最適化ソルブの回数を著しく削減しつつ、正確なポリシー近似を実現でき、トレーニングコストの僅か数パーセントで、完全にサンプリングされたデータセットと同等の性能を達成する。

ABSTRACT

Approximating model predictive control (MPC) policy using expert-based supervised learning techniques requires labeled training data sets sampled from the MPC policy. This is typically obtained by sampling the feasible state-space and evaluating the control law by solving the numerical optimization problem offline for each sample. Although the resulting approximate policy can be cheaply evaluated online, generating large training samples to learn the MPC policy can be time consuming and prohibitively expensive. This is one of the fundamental bottlenecks that limit the design and implementation of MPC policy approximation. This technical note aims to address this challenge, and proposes a novel sensitivity-based data augmentation scheme for direct policy approximation. The proposed approach is based on exploiting the parametric sensitivities to cheaply generate additional training samples in the neighborhood of the existing samples.

研究の動機と目的

• 監視学習を用いたMPCポリシー近似のための大規模かつ多様なトレーニングデータセットを生成する際の高い計算コストに対処すること。
• 可能な状態空間をサンプリングするために必要な高価なオフライン非線形計画（NLP）ソルブの回数を削減すること。
• MPC最適化問題のパラメトリック感度を用いて、低コストで追加のトレーニングサンプルを生成するデータ拡張戦略を開発すること。
• 感度によって生成された不正確なサンプルがポリシー近似に与える誤差を定量化および制御すること。
• 時間変動する擾乱や設定値を含む高次元の状態空間およびパrameter空間において、MPCポリシーの有効な近似を可能にすること。

提案手法

• MPC問題を初期状態によってパrameter化されたパラメトリック最適化問題として扱い、感度分析を可能にする。
• カールシュ＝クーン＝タッカー（KKT）条件を用いて、状態摂動に対する最適制御入力のパラメトリック感度（NLP感度）を計算する。
• 接線予測子（感度による線形近似）を用いて、各元のサンプルの近傍で新たな状態-行動ペアを生成する。
• これらの感度によって生成されたサンプルを元のトレーニングデータセットに追加し、完全なNLPソルブへの依存度を低減する。
• 少量の正確なNLP解と多数の感度に基づく近似を組み合わせた拡張データセットを用いて、深層ニューラルネットワークポリシーをトレーニングする。
• 時間変動する擾乱や設定値を含む8次元の状態およびパrameter空間を持つ建物熱制御の事例に、このフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 MPC問題のパラメトリック感度を用いて、各々のサンプルに対して完全なNLPを解かずに追加のトレーニングサンプルを生成できるか？
• RQ2 感度に基づく拡張を用いた場合、近似ポリシーの誤差は元のサンプルからの距離にどのように依存するか？
• RQ3 感度によって拡張されたスパースにサンプリングされたデータセットでトレーニングされたポリシーは、完全にサンプリングされたデータセットでトレーニングされたものと同等の性能を達成できるか？
• RQ4 MPCポリシー学習における感度に基づくデータ拡張を用いる際の、トレーニングコストと近似精度のトレードオフは何か？
• RQ5 提案手法は、状態空間における時間変動する擾乱や設定値を扱うために拡張可能か？

主な発見

• 提案された感度に基づくデータ拡張方式により、必要なオフラインNLPソルブ回数を最大95％まで削減でき、トレーニングコストを顕著に低減した。
• 感度拡張データセット（D+）でトレーニングされたポリシーは、閉ループシミュレーションにおいて完全にサンプリングされたデータセット（D++）でトレーニングされたポリシーとほぼ区別できない性能を示した。
• 感度に基づくサンプルによる近似ポリシーの誤差は、状態摂動のノルム ∥∆xi∥² に対して2次的に増加することが示された。
• 正確なNLP解をたった330件のみでトレーニングしたポリシー（D0）は著しく性能が低く、正確な近似を達成するためにはデータ拡張の必要性が明確になった。
• 環境温度や日射量などの測定可能なパラメータを状態ベクトルに追加することで、時間変動する擾乱や設定値を効果的に処理できた。
• このフレームワークにより、高次元空間（例：ケーススタディでは8次元）においても、最小限の計算オーバーヘッドで有効なMPCポリシー近似が可能になった。