[論文レビュー] Reduction of the Number of Variables in Parametric Constrained Least-Squares Problems

Alberto Bemporad, Gionata Cimini|arXiv (Cornell University)|Dec 18, 2020

Advanced Control Systems Optimization被引用数 5

ひとこと要約

本稿では、特にモデル予測制御（MPC）を想定して、等式制約の削除に特化したQR分解と、教師なし学習およびニューラル分類器を用いてパrameter空間を$K$個の領域に分割する新しい$K$-SVD手法を組み合わせることで、パラメトリック制約付き最小二乗（pCLS）問題における変数の削減を、数値的に安定した方法で行う手法を提案する。各領域では主成分の低次元近似が行われる。この手法は、正確な解と区別できない性能を達成するとともに、計算複雑性を顕著に低減する。

ABSTRACT

For linearly constrained least-squares problems that depend on a vector of parameters, this paper proposes techniques for reducing the number of involved optimization variables. After first eliminating equality constraints in a numerically robust way by QR factorization, we propose a technique based on singular value decomposition (SVD) and unsupervised learning, that we call $K$-SVD, and neural classifiers to automatically partition the set of parameter vectors in $K$ nonlinear regions in which the original problem is approximated by using a smaller set of variables. For the special case of parametric constrained least-squares problems that arise from model predictive control (MPC) formulations, we propose a novel and very efficient QR factorization method for equality constraint elimination. Together with SVD or $K$-SVD, the method provides a numerically robust alternative to standard condensing and move blocking, and to other complexity reduction methods for MPC based on basis functions. We show the good performance of the proposed techniques in numerical tests and in a linearized MPC problem of a nonlinear benchmark process.

研究の動機と目的

• パラメトリック制約付き最小二乗（pCLS）問題の解法における高い計算複雑性、特に組み込み型モデル予測制御（MPC）アプリケーションにおける課題に対処すること。
• 特に不安定な系においても、標準的な縮約法に比べて、等式制約の削除における数値的安定性を向上させること。
• 標準的な縮約およびモーブロック法を越えて、パrameter依存構造を活用して最適化変数の数を削減すること。
• パラメータ空間を、低次元近似が有効となる領域に分割するデータ駆動型のオフライン手法を開発すること。
• 削減後も元のpCLS構造を維持し、結果として得られる問題が標準的なQPソルバで解けるようにすること。

提案手法

• MPCに由来するpCLS問題における等式制約の削除に、標準的な縮約法よりも優れた数値的安定性を示す、特化したQR分解が用いられる。特に不安定なダイナミクスにおいて顕著である。
• $K$-SVDアルゴリズムは、標準的なSVDを拡張し、パrameter空間の異なる領域で$K$個の異なる主成分セットを同定することで、局所的な低ランク近似を可能にする。
• 教師なしクラスタリングによる$K$-SVDは、パラメータベクトル空間を$K$個の非線形領域に分割し、それぞれが固有の主成分基底に対応する。
• シグモイド活性化関数を備えた3層の隠れ層を持つニューラル分類器を訓練し、各パラメータベクトルを対応するクラスタにマッピングすることで、リアルタイムでの適切な基底の選択が可能になる。
• 低次元問題は、選択された基底ベクトルの線形結合により解かれる。不実行性を扱い、安定性を確保するためにスラック変数が追加される。
• この手法は元のpCLS問題の凸構造を保持するため、標準的なQPソルバを用いて効率的に解ける。

実験結果

リサーチクエスチョン

• RQ1 MPCに基づくpCLS問題における等式制約の削除に対して、標準的な縮約法の代替として、数値的に安定した手法を開発できるか？
• RQ2 解の品質を維持しつつ、モーブロックおよび縮約法を越えて最適化変数の数を削減できるか？
• RQ3 教師なし学習およびニューラル分類を用いて、異なる低次元近似が有効な領域にパラメータ空間を効果的に分割できるか？
• RQ4 $K$-SVDに基づく近似は、実用的なMPCアプリケーションにおいて正確な解に近い性能を維持できるか？
• RQ5 時間変動型または不安定な系に対しても、数値的不安定性を示さずにこの手法を適用できるか？

主な発見

• 提案されたQRベースの等式制約削除法は、特に不安定な系において、標準的な縮約法に比べて優れた数値的安定性を示した。
• $K$-SVD手法により、最適化変数の数を$n=3$から$m=2$に削減したが、性能指標$J_{\text{ksvd}}$は正確な解$J_{\text{exact}}$と区別できない水準に達した。
• 閉ループシミュレーションステップの90％において、ニューラル分類器が適切な基底関数を正しく同定した（図7）。パラメータ空間$(T_r, C_A)$における分割は、明確に異なるダイナミクス的状態を分離していた（図8）。
• 10クラスのニューラル分類器の学習には1271秒を要し、1クラスあたり281係数を必要とし、パラメータベクトルの正確なリアルタイム分類を達成した。
• $K$-SVDベースのMPCの性能は、正確な解と定量的に同一であり、$J_{\text{ksvd}}$は数値的許容範囲内で$J_{\text{exact}}$と一致した。
• 固定された低ランク近似による性能劣化を回避できるように、適応的基底選択を可能にする点で、直接的な2変数解$J_{\text{exact,2}}$を上回った。