[論文レビュー] Abstraction-based branch and bound approach to Q-learning for hybrid optimal control

Benoît Legat, Raphaël M. Jungers+1 more|arXiv (Cornell University)|Nov 22, 2020

Advanced Control Systems Optimization被引用数 5

ひとこと要約

本稿では、Q学習とラグランジュ双対性を統合した抽象化ベースの分枝限定法を提案する。この手法は、ハイブリッドシステムにおける有限履歴最適制御問題を解くために、交互に適用されるシミュレーション関係を用いてベルマンに類似したQ関数を構築し、MPCに従う軌道を用いてそれを精緻化することで、探索木のサイズを著しく削減する。数値実験では、100,000倍を超える pruning を達成し、NP困難性にもかかわらず効率的なオンライン制御を可能にする。

ABSTRACT

In this paper, we design a theoretical framework allowing to apply model predictive control on hybrid systems. For this, we develop a theory of approximate dynamic programming by leveraging the concept of alternating simulation. We show how to combine these notions in a branch and bound algorithm that can further refine the Q-functions using Lagrangian duality. We illustrate the approach on a numerical example.

研究の動機と目的

• 離散的制御選択肢の数が指数関数的に増加するため、ハイブリッドシステムにおける最適制御問題の計算的非可解性に対処すること。
• 近似的動的計画法と分枝限定法を組み合わせることで、スケーラブルかつリアルタイム対応可能な有限履歴最適制御手法を構築すること。
• システム動的の粗い抽象化から導出されたベルマンに類似したQ関数を用いて、探索木の有効な枝刈りを可能にすること。
• モデル予測制御（MPC）により得られた実行可能軌道に沿ってQ関数を繰り返し精緻化することで、関連する状態空間領域における近似精度を向上させること。
• 複数の問題インスタンスにわたって学習したQ関数の知識を一般化・統合し、新しい類似した制御問題における性能向上を実現すること。

提案手法

• 粗い抽象化と元のハイブリッドシステムとの間で交互に適用されるシミュレーション関係を用い、ターゲット集合上でのリャプノフ関数およびベルマンに類似したQ関数を導出する。
• これらのQ関数を下界として用いる分枝限定アルゴリズムを定式化し、探索木内の非最適な分枝を刈り込む。
• アルゴリズムは、前向きパス（MPCを用いて実行可能軌道を特定）と後向きパス（ラグランジュ双対性を用いてその軌道に沿ってQ関数を精緻化）を交互に実行する。
• 計算された軌道に沿った最適制御解から得られるカットを用いて、Q関数を繰り返し更新し、時間経過とともに下界を改善する。
• 混合整数二次計画問題（MIQP）の弱双対性を活用し、最適コストの下界をタイトにする有効なカットを生成する。
• 本手法は問題インスタンス間で一般化可能である：1つのインスタンスで学習したQ関数は、類似した問題の反復回数を顕著に削減する。複数インスタンスからの学習統合により、最大の刈り込み効果が得られる。

実験結果

リサーチクエスチョン

• RQ1 粗いシステムモデルから導出された抽象化ベースのQ関数は、ハイブリッド最適制御の分枝限定法における探索空間の有効な刈り込みに効果的か？
• RQ2 MPCに従う軌道生成は、リアルタイム制御環境下での学習Q関数の精度と実用性をどのように向上させるか？
• RQ3 1つの問題インスタンスで学習したQ関数は、どの程度一般化され、類似した最適制御問題の解法を加速するために再利用可能か？
• RQ4 ラグランジュ双対性によるQ関数の反復的精緻化は、分枝限定法の収束速度と解の品質にどのような影響を与えるか？
• RQ5 抽象化が粗くても、抽象化ベースのベルマンに類似した関数は、十分な刈り込みを提供できるか。これにより、スケーラブルなオンライン制御が可能になるか？

主な発見

• 粗い抽象化から導出されたベルマンに類似したQ関数を用いることで、1つのインスタンスでは分枝限定の反復回数が9,388,410回から85回に100,000倍以上削減された。
• 2番目のインスタンスでは10,000倍の反復回数削減が達成され、相対的に粗い抽象化でも顕著な刈り込み効果が示された。
• 初期反復で得られた軌道からのQ関数学習を統合することで、反復回数は85回から747回にさらに削減された。
• 1つのインスタンスで学習したQ関数は、別のインスタンスへも良好に一般化され、異なる初期状態への適用で反復回数が880回から761回に減少した。これは強力な知識転送性を示している。
• 複数インスタンスからのQ関数学習を統合した結果、最良の性能が得られ、わずか747回の反復で収束した。これは、効果的な知識再利用と相乗効果を示している。
• Q関数の精緻化を関連する軌道に限定することで、全状態空間の近似を避けることにより、計算的妥当性と解の品質の両立に成功した。