[論文レビュー] Learning Locomotion Controllers for Walking Using Deep FBSDE

Bolun Dai, Virinchi Roy Surabhi+2 more|arXiv (Cornell University)|Jul 16, 2021

Robotic Locomotion and Control参考文献 17被引用数 4

ひとこと要約

本稿では、LSTMベースのニューラルネットワークを用いて、状態制約を伴う線形逆立棒モデル（LIPM）に対するロボット歩行の最適制御問題を解くための深層前向き・後向き確率微分方程式（FBSDE）制御器を提案する。この手法は、CVXベースの最適化よりも6.67倍高速な計算を実現し、リアルタイムかつ高周波制御を可能にし、ノイズと制約下でも20ステップ以上の安定したサイクル歩行をシミュレーションで達成した。

ABSTRACT

In this paper, we propose a deep forward-backward stochastic differential equation (FBSDE) based control algorithm for locomotion tasks. We also include state constraints in the FBSDE formulation to impose stable walking solutions or other constraints that one may want to consider (e.g., energy). Our approach utilizes a deep neural network (i.e., LSTM) to solve, in general, high-dimensional Hamilton-Jacobi-Bellman (HJB) equation resulting from the stated optimal control problem. As compared to traditional methods, our proposed method provides a higher computational efficiency in real-time; thus yielding higher frequency implementation of the closed-loop controllers. The efficacy of our approach is shown on a linear inverted pendulum model (LIPM) for walking. Even though we are deploying a simplified model of walking, the methodology is applicable to generalized and complex models for walking and other control/optimization tasks in robotic systems. Simulation studies have been provided to show the effectiveness of the proposed methodology.

研究の動機と目的

• 深層学習を用いて計算効率が高く、リアルタイムで動作するロボット歩行制御手法を開発すること。
• 歩行ロボットのような離散的遷移（例：足の着地変更）を含むハイブリッドダイナミカルシステムに対し、深層FBSDEを拡張すること。
• 状態制約（例：最小COM速度）をFBSDEフレームワークに組み込み、望ましい動的行動を促進すること。
• 局所的な足固定フレームへの状態再初期化を用いて、1ステップポリシーを複数ステップ歩行に一般化すること。
• 従来の最適化ベースの手法（例：CVX）と比較して、高次元設定下での計算効率に優れていることを示すこと。

提案手法

• 歩行制御問題を確率的最適制御問題として定式化し、ハミルトン＝ジャコビ＝ベルマン（HJB）方程式に帰着させる。
• 深層ニューラルネットワーク（LSTM）を用いてHJB方程式の解を近似し、価値関数と最適制御ポリシーのエンドツーエンド学習を可能にする。
• 前向き・後向き確率微分方程式（FBSDE）フレームワークを採用し、状態ダイナミクスと共役（コストレート）ダイナミクスを結合することで、タイムスケールにわたるバックプロパゲーションが可能になる。
• ペナルティベースの手法を用いて状態制約をFBSDE定式化に組み込み、COM速度の上限・下限を強制することで、ロバストネスと安定性を確保する。
• 各ステップで状態を局所的フレーム（足に固定された座標系）に再初期化することでポリシーを多ステップ歩行に適応させ、終端速度に基づく動的ステップ長調整を実現する。
• 制御器をシミュレーション上での1ステップ歩行のデータで学習し、状態のフレーム再定義と速度に基づくステップ長調整により、長いシーケンスへの一般化を達成する。

実験結果

リサーチクエスチョン

• RQ1 深層FBSDEは、離散的足着地遷移を伴うハイブリッドダイナミカルシステム（例：二足歩行）に効果的に適用可能か？
• RQ2 リアルタイム制御シナリオにおいて、従来の最適化ソルバ（例：CVX）と比較して、提案された深層FBSDE制御器の計算効率はどの程度か？
• RQ3 状態制約（例：最小COM速度）をFBSDEフレームワークに効果的に埋め込むことができるか？これにより望ましい歩行行動を誘導できるか？
• RQ4 状態再初期化と動的ステップ長調整を用いて、1ステップポリシーを多ステップ歩行にどの程度一般化できるか？
• RQ5 LIPMフレームワーク下でプロセスノイズとモデル不確実性が存在する状況でも、学習済み制御器はどの程度ロバストか？

主な発見

• 深層FBSDE制御器は、CVXベースの最適化と比較して制御計算が6.67倍高速であり、分散も小さいため、高周波リアルタイム制御に適している。
• ノイズなしおよびノイズありのLIPMシミュレーションの両方で、20ステップ以上の安定したサイクル歩行を維持し、終端速度が名目値の周囲に狭いバンドに収束している。
• 最小COM速度制約1.0 m/sを効果的に強制しており、制約ありケースの64サンプル軌道すべてが制約内に保たれている。これに対して制約なしケースでは頻繁に制限に違反していた。
• 各ステップで状態を局所的足固定フレームに再初期化することで、学習済みポリシーが多ステップ歩行に効果的に一般化され、終端速度に基づく動的ステップ長調整が可能になった。
• ノイズ下でも制御器は高いロバストネスを示しており、終端速度が名目値の周囲にきわめて集中していることから、外部摂動に対して強い耐性を示している。
• 本手法は計算スケーラビリティに優れており、高次元システムや長いプレビュー予測ホライズンにおいて、従来のソルバーよりも顕著な性能向上を示している。