[論文レビュー] Learning Convex Optimization Control Policies

Akshay Agrawal, Shane Barratt+2 more|arXiv (Cornell University)|Dec 19, 2019

Advanced Control Systems Optimization参考文献 70被引用数 9

ひとこと要約

本稿では、凸最適化制御方策（COCPs）のパラメータを自動的に調整する手法を提案する。この手法は、凸最適化解の効率的微分を活用した近似勾配降下法を用いる。実世界の制御タスク、たとえばサプライチェーン管理において、200イテレーションの訓練でコストを22.35%削減することで、性能が向上することを示している。性能指標の凸性がなくても、ロバストでスケーラブルなパラメータ調整が可能であることを実証した。

ABSTRACT

Many control policies used in various applications determine the input or action by solving a convex optimization problem that depends on the current state and some parameters. Common examples of such convex optimization control policies (COCPs) include the linear quadratic regulator (LQR), convex model predictive control (MPC), and convex control-Lyapunov or approximate dynamic programming (ADP) policies. These types of control policies are tuned by varying the parameters in the optimization problem, such as the LQR weights, to obtain good performance, judged by application-specific metrics. Tuning is often done by hand, or by simple methods such as a crude grid search. In this paper we propose a method to automate this process, by adjusting the parameters using an approximate gradient of the performance metric with respect to the parameters. Our method relies on recently developed methods that can efficiently evaluate the derivative of the solution of a convex optimization problem with respect to its parameters. We illustrate our method on several examples.

研究の動機と目的

• 制御システムで広く使われているが、従来は手動またはグリッドサーチによって調整されていた凸最適化制御方策（COCPs）のパラメータを自動化すること。
• 性能指標のパラメータに関する近似勾配を用いて、スケーラブルで微分可能なCOCPパラメータ最適化手法を開発すること。
• 凸最適化解マップの固有の微分可能性を活用することで、効率的で安全かつ安定したパラメータ調整を可能にすること。
• 制御の分野を超えて、COCPを含む状態推定および予測タスクへの応用を拡張すること。
• 実世界の応用、たとえばサプライチェーン管理やモデル予測制御において、本手法の有効性を実証すること。

提案手法

• 本手法は、性能指標のパラメータに関する近似勾配を計算することで、COCPパラメータを射影確率的勾配降下法で最適化する。
• 最近開発された技術を活用し、凸最適化問題の解のパラメータに関する微分を効率的に計算する。
• 自動微分と凸最適化問題の感度分析を組み合わせ、解マップを介したバックプロパゲーションを可能にする。
• 性能指標は閉ループシステムのシミュレーションにより評価され、摂動のモンテカルロサンプルを用いて勾配が推定される。
• LQR、MPC、ADP方策を含む、任意のCOCPに対して適用可能であり、パラメータ化された最適化問題を微分可能な関数として扱う。
• 制御パラメータとMPCにおける摂動予測モデルなどの複数のコンポONENTの共同チューニングをサポートする。

実験結果

リサーチクエスチョン

• RQ1 勾配ベース最適化を用いて、手動またはグリッドサーチを回避してCOCPのチューニングを自動化できるか？
• RQ2 COCPが凸最適化問題の解として定義される場合、性能指標のパラメータに関する勾配をどのように効率的に計算できるか？
• RQ3 本手法は、ベースラインのチューニング手法と比較して、実世界の制御およびサプライチェーンシステムにおける性能向上にどの程度寄与するか？
• RQ4 本手法は、制御方策と状態推定器または予測モデルの共同チューニングに拡張可能か？
• RQ5 非凸またはヒューリスティックな制御方策に本手法を適用した場合、局所最適解であっても実用的な性能向上は得られるか？

主な発見

• サプライチェーン制御タスクにおいて、200イテレーションの間に平均コストが22.35%削減され、-0.279から-0.341に改善された。
• チューニングされた方策は、供給コストが高いノードや需要が低いノードでの在庫保有をペナルティ化するよう学習しており、学習された$ S^T S $および$ q $パラメータにそれが反映されている。
• 本手法は、$ n=4 $ノードおよび$ T=20 $タイムステップのサプライチェーン方策に対しても成功裏にチューニングでき、非自明なシステムへのスケーラビリティを示した。
• 性能指標がパラメータに関して非凸であっても、安定した意味のある改善が得られたことから、局所最適解に対してロバストであることが示された。
• 凸最適化問題の解マップは微分可能であり、効率的な勾配計算と自動微分フレームワークへの統合を可能にした。
• 本手法は一般性が高く、LQR、MPC、ADPを含む幅広いCOCPに適用可能であり、状態推定および予測タスクに対しても適用可能である。