[論文レビュー] Practical Comparison of Optimization Algorithms for Learning-Based MPC with Linear Models

Anil Aswani, Patrick Bouffard+2 more|arXiv (Cornell University)|Apr 10, 2014

Advanced Control Systems Optimization参考文献 3被引用数 8

ひとこと要約

この論文は、線形モデルを用いた学習ベースのモデル予測制御（LBMPC）における最適化アルゴリズムを比較し、四脚ヘリコプター上でスパースな内点法（LBmpcIPM）と密度の高いアクティブセット解法（LSSOL および qpOASES）を評価している。LBmpcIPMは漸近的計算量で優位であるが、実時間飛行実験では解法時間のばらつきが低く、実用的システムベンチマークが埋め込み型MPCアプリケーションにおけるアルゴリズム選定に不可欠であることが示された。

ABSTRACT

Learning-based control methods are an attractive approach for addressing performance and efficiency challenges in robotics and automation systems. One such technique that has found application in these domains is learning-based model predictive control (LBMPC). An important novelty of LBMPC lies in the fact that its robustness and stability properties are independent of the type of online learning used. This allows the use of advanced statistical or machine learning methods to provide the adaptation for the controller. This paper is concerned with providing practical comparisons of different optimization algorithms for implementing the LBMPC method, for the special case where the dynamic model of the system is linear and the online learning provides linear updates to the dynamic model. For comparison purposes, we have implemented a primal-dual infeasible start interior point method that exploits the sparsity structure of LBMPC. Our open source implementation (called LBmpcIPM) is available through a BSD license and is provided freely to enable the rapid implementation of LBMPC on other platforms. This solver is compared to the dense active set solvers LSSOL and qpOASES using a quadrotor helicopter platform. Two scenarios are considered: The first is a simulation comparing hovering control for the quadrotor, and the second is on-board control experiments of dynamic quadrotor flight. Though the LBmpcIPM method has better asymptotic computational complexity than LSSOL and qpOASES, we find that for certain integrated systems (like our quadrotor testbed) these methods can outperform LBmpcIPM. This suggests that actual benchmarks should be used when choosing which algorithm is used to implement LBMPC on practical systems.

研究の動機と目的

• 線形ダイナミクスおよび線形学習更新を伴う学習ベースのモデル予測制御（LBMPC）における、さまざまな最適化アルゴリズムの実用的性能を評価すること。
• スパースソルバーの理論的優位な計算量の複雑さが、埋め込み制御システムにおける実世界の利点にどのように反映されるかを評価すること。
• 新しく実装されたスパース内点法（LBmpcIPM）と、既に確立された密度型アクティブセットソルバー（LSSOL および qpOASES）を、実際の四脚ヘリコプター実験台で比較すること。
• 最適化アルゴリズムの選択が、動的かつ制約のある飛行シナリオにおける制御性能および実時間実行可能性に顕著に影響を与えるかどうかを特定すること。

提案手法

• 線形モデルを伴うLBMPC問題に内在するスパース構造を活用する、プライマル・デュアル不実行開始内点法（LBmpcIPM）を実装した。
• LBmpcIPMソルバーは、システムダイナミクスモデルのオンライン学習更新を処理しつつも、安定性とロバストネスの保証を維持するように設計された。
• 同一のLBMPC定式化およびシステム制約を用いて、LBmpcIPMを2つの密度型アクティブセットソルバー（LSSOL および qpOASES）と比較した。
• 25msの制御サンプリング周期および予測予測ホライズンN=5を想定した四脚ヘリコプター上で、シミュレーションおよび実時間オンボード実験を実施した。
• すべての3つのソルバーに対して、解法時間、軌道追従性能、および計算時間のばらつきを測定・分析した。
• 一貫性を確保し、先行研究と整合させるために、LSSOLソルバーの軌道を基準として、ソルバー間の差を定量化した。

実験結果

リサーチクエスチョン

• RQ1 スパース内点法（LBmpcIPM）は、埋め込みプラットフォーム上での実時間LBMPC応用において、密度型アクティブセットソルバー（LSSOL および qpOASES）よりも速い解法時間を達成するか？
• RQ2 さまざまな最適化アルゴリズムの解法時間のばらつきが、25msのサンプリング周期における実時間制御実行可能性にどのように影響するか？
• RQ3 ソルバー性能の差が、実際の四脚ヘリコプター飛行軌道にどの程度現れ、空気力学的ノイズの許容範囲内に収まるか？
• RQ4 2009年製の搭載コンピュータを用いた場合、理論的に優位な漸近的計算量を持つLBmpcIPMが、実際の性能向上に結びつくか？
• RQ5 LBMPCにおける学習済みモデルとノーマルモデルの構造的類似性を活用することで、さらにソルバー効率を向上させられるか？

主な発見

• LBmpcIPMソルバーは、そのスパースで内点法の定式化に従い、期待通りにより優れた漸近的計算量を示した。
• 理論的優位性にもかかわらず、LBmpcIPMは解法時間のばらつきが高く、25msの実時間制御デッドラインを超過する場合もあったのに対し、密度型ソルバーは常にそれを満たした。
• 密度型アクティブセットソルバー（LSSOL および qpOASES）は、解法時間のばらつきが低く、四脚ヘリコプター実験台でより信頼性の高い実時間性能を達成した。
• ソルバー間の軌道差は、LBmpcIPM vs. LSSOLで6.5cm以内、qpOASES vs. LSSOLで9.8cm以内であり、空気力学的ノイズおよび実験的ばらつきの予想範囲内に収まった。
• 実際の飛行条件下では、ソルバー間の性能差はほとんど無視できるほど小さく、すべての3つのソルバーが同等の制御精度を達成した。
• 将来のハードウェア向上で約10倍の性能向上が達成されれば、LBmpcIPMの潜在的利点が解き放たれ、より長い予測ホライズン（例：N≈30）を活用できるようになるだろう。