[論文レビュー] Numerical Synthesis of Pontryagin Optimal Control Minimizers Using Sampling-Based Methods

Runxin He, Humberto González‐Díaz|arXiv (Cornell University)|Mar 31, 2017

Advanced Optimization Algorithms Research参考文献 15被引用数 4

ひとこと要約

本稿では、緩和制御とPWM再構成を活用することで、一般の力学系に対してPontryagin最適制御入力を合成するサンプリングベースの直接法を提案する。Pontryagin最適制御と緩和最適制御の間の同等性を確立することで、証明可能に収束する反復的アルゴリズムを介して最小原理解に収束することを保証し、間接法や複雑な境界値問題ソルバーに依存せずに、高品質で数値的に効率的な最小化子を達成する。

ABSTRACT

Optimal control remains as one of the most versatile frameworks in systems theory, enabling applications ranging from classical robust control to real-time safe operation of fleets of vehicles. While some optimal control problems can be efficiently solved using algebraic or convex methods, most general forms of optimal control must be solved using memory- expensive numerical methods. In this paper we present a theoretical formulation and a corresponding numerical algorithm that can find Pontryagin- optimal inputs for general dynamical systems by using a direct method. Pontryagin-optimal inputs, those satisfying the Minimum Principle, can be found for many classes of problems using indirect methods. But convergent numerical methods to solve indirect problems are hard to find and often converge slowly. On the other hand, convergent direct optimal control methods are fast and founded on solid theory, but their limit points are usually Banach-optimal inputs, which are a weaker form of optimality condition. Our result, founded on the theory of relaxed inputs as defined by J. Warga, establishes an equivalence between Pontryagin- optimal inputs and optimal relaxed inputs. Then, we formu- late a sampling-based numerical method to approximate the Pontryagin-optimal relaxed inputs using an iterative method. Finally, using a provably-convergent numerical method, we synthesize approximations of the Pontryagin-optimal inputs from the sampled relaxed inputs.

研究の動機と目的

• 理論的Pontryagin最適制御と最小原理解に収束する実装可能な数値アルゴリズムの間のギャップを埋めること。
• 収束が遅く初期推定値に敏感な間接法の限界を、証明可能な収束性を有する直接法によって克服すること。
• Pontryagin最適軌道および入力を高精度に近似できる、数値的に効率的かつスケーラブルなフレームワークを開発すること。
• 制約付きLQRおよび非線形なクアッドローター・ヘリコプター制御問題に対して、厳密な収束検証を伴って本手法の有効性を示すこと。

提案手法

• 本手法は緩和制御理論に根ざしており、Pontryagin最適入力と最適緩和制御の間の同等性を確立することで、直接的な数値的取り扱いを可能にする。
• サンプリングベースのアルゴリズムが、入力空間に分布する有限個の制御値を用いて、制御集合U上の緩和制御の離散的近似を生成する。
• 時間離散化された状態および制御軌道を用いて、システムの運動方程式を満たす制約のもとでコスト関数を最小化する反復的直接最適化手法を採用する。
• PWM（パルス幅変調）再構成に基づく射影ステップにより、緩和制御のサンプルから区分的定数制御入力を合成し、正確な軌道近似を実現する。
• 収束基準として最適性関数θ_N,hを用い、収束が許容誤差ε_tol未満に達するまで反復的に監視する。
• 緩和制御と古典的最適制御の理論的同等性を活用することで、Pontryagin最小原理を満たす解への収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 最小原理解に収束する直接数値法を設計できるか、それとも単に1次最適性条件に収束するだけか？
• RQ2 緩和制御理論をどのように活用することで、直接法が最小原理解に到達できるか？
• RQ3 PWM再構成を用いたサンプリングベースのアプローチは、Pontryagin最適軌道および入力の正確で数値的に効率的な近似を生成できるか？
• RQ4 提案されたアルゴリズムの実際の収束特性はどのようなものか？また、標準的な直接法や間接法と比較してどうか？

主な発見

• 制約付きLQRシミュレーションでは、収束がε_tol = 10⁻⁵の許容誤差に達するまでに62反復で達成され、Pontryagin最適解への収束が検証された。
• クアッドローター・ヘリコプターのシミュレーションでは、2つの目標位置すべてで40反復未満で収束が達成され、ε_tol = 10⁻⁴であった。初期条件が異なる場合でも安定した収束を示した。
• PWM再構成により、緩和制御入力に非常に近い区分的定数制御入力が正常に生成され、正確な軌道追従性が達成された。
• 本手法は低入力効率の制御を生成し、LQRケースでは最初の0.1秒間のみ入力が活性化された。これはエネルギー効率の高さを示している。
• LQRケースの最終状態はx(T) = (-0.29, -0.56, -0.06)であり、望ましい終端条件への正確な追従性が確認された。
• 従来の間接法とは異なり、複雑な境界値問題ソルバーや感受性の高い初期推定値を必要とせず、高品質な最小化子を達成した。