[論文レビュー] A Nearly Optimal Chattering Reduction Method of Sliding Mode Control With an Application to a Two-wheeled Mobile Robot

Lei Guo, Han Zhao+1 more|arXiv (Cornell University)|Oct 25, 2021

Adaptive Dynamic Programming Control参考文献 25被引用数 6

ひとこと要約

本稿では、連続時間MIMO非線形系におけるちりびる現象を顕著に低減する、ほぼ最適な飽和関数を設計するための統合強化学習（IRL）に基づく手法を提案する。ちりびる現象の低減を制約付き最適化問題として定式化し、ニューラルネットワークを用いたポリシー反復を適用することで、性能指標を最小化しつつロバスト性を維持するほぼ最適な飽和関数を学習する。実世界の二輪移動ロボットを用いた実験により、制御精度が向上し、高周波数の振動が低減されたことが検証された。

ABSTRACT

The problem we focus on in this paper is to find a nearly optimal sliding mode controller of continuous-time nonlinear multiple-input multiple-output (MIMO) systems that can both reduce chattering and minimize the cost function, which is a measure of the performance index of dynamics systems. First, the deficiency of chattering in traditional SMC and the quasi-SMC method are analyzed in this paper. In quasi-SMC, the signum function of the traditional SMC is replaced with a continuous saturation function. Then, a chattering reduction algorithm based on integral reinforcement learning (IRL) is proposed. Under an initial sliding mode controller, the proposed method can learn the nearly optimal saturation function using policy iteration. To satisfy the requirement of the learned saturation function, we treat the problem of training the saturation function as the constraint of an optimization problem. The online neural network implementation of the proposed algorithm is presented based on symmetric radius basis functions and a regularized batch least-squares (BLS) algorithm to train the control law in this paper. Finally, two examples are simulated to verify the effectiveness of the proposed method. The second example is an application to a real-world dynamics model -- a two-wheeled variable structure robot.

研究の動機と目的

• 非線形MIMO系における従来のスライディングモード制御（SMC）および準スライディングモード制御における持続的なちりびる現象の問題に対処すること。
• 性能指標を最小化しつつ、ちりびる現象を効果的に低減する飽和関数を設計すること。
• システムの動的特性を完全に把握していない状態でも、最適な飽和関数を学習できるデータ駆動型で適応可能な手法を開発すること。
• 連続時間系において、制御則の収束性と許容性を統合強化学習を用いて保証すること。
• 実世界の二輪移動ロボットのモデルに、実用的な動的制約を考慮した条件下で、本手法を実証すること。

提案手法

• ちりびる現象の低減を、性能指標の最小化と安定性を満たす必要がある制約付き最適化問題として定式化する。
• オンラインデータから逐次的にほぼ最適な飽和関数を学習するために、統合強化学習（IRL）フレームワーク内でのポリシー反復を採用する。
• 対称的ラジアル基底関数（RBF）ニューラルネットワークを用いて制御則を近似し、バッチ最小二乗法（BLS）による正則化を施して、安定なオンライン学習を実現する。
• 古典的SMCにおける不連続な符号関数を、連続的で学習された飽和関数に置き換え、符号関数の挙動を模倣しつつ、ちりびる現象を排除する。
• 連続時間系において学習段階でも安定性を保証するように、許容可能で収束性のある制御則を設計する。
• 本手法は、非ホロノミック制約を含むチャプレイジン方程式に基づく動的モデルを用いた二輪可変構造ロボット（VSR）に適用された。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型手法は、連続時間MIMO非線形系におけるちりびる現象を低減するほぼ最適な飽和関数を学習できるか？
• RQ2 ロバスト性と安定性を維持しつつ、スライディングモード制御の性能指標を最小化するにはどうすればよいか？
• RQ3 正確なシステムモデルが不要な状態で、統合強化学習は連続的飽和関数を効果的に学習できるか？
• RQ4 提案手法は、ヒューリスティックな飽和関数を用いた従来の準SMCと比較して、どの程度性能が向上するか？
• RQ5 二輪移動ロボットのような実世界の高非線形動的系において、制御則はどのように動作するか？

主な発見

• 提案されたIRLベースの手法は、非線形MIMO系におけるスライディングモード制御におけるちりびる現象を顕著に低減するほぼ最適な飽和関数を学習することに成功した。
• 従来の固定またはヒューリスティックな飽和関数を用いた準SMC手法と比較して、学習された飽和関数はより低い性能指標を達成した。
• 二輪移動ロボットにおけるシミュレーション結果から、滑らかな制御入力と高周波数の振動の低減が確認され、アクチュエータの摩耗を防ぐ効果があった。
• 対称的RBFと正則化付きBLSを用いたニューラルネットワーク実装により、リアルタイム制御応用における安定で収束性のある学習が実現された。
• 実験的結果から、外乱や不確実性に対してもロバストであることが示され、VSRモデルにおける安定した追従性能が得られた。
• 制御則は実世界の動的モデル上で検証され、理論的シミュレーションを超えた実用的応用可能性が確認された。