[論文レビュー] Robust Quadrupedal Locomotion on Sloped Terrains: A Linear Policy Approach

Kartik Paigwar, Lokesh Krishna+8 more|arXiv (Cornell University)|Oct 30, 2020

Robotic Locomotion and Control被引用数 7

ひとこと要約

本論文では、拡張ランダムサーチ（ARS）を用いて訓練された1つのポリシーにより、計算コストが低く、線形のフィードバックポリシーを提案する。このポリシーは、胴体の姿勢と地形の傾きに基づいて足の軌道を動的に調整し、15°までの勾配でも安定した歩行を実現するとともに、外部の摂動を抑制し、再訓練を伴わずにさまざまな低コスト四足歩行ロボットに一般化可能である。

ABSTRACT

In this paper, with a view toward fast deployment of locomotion gaits in low-cost hardware, we use a linear policy for realizing end-foot trajectories in the quadruped robot, Stoch $2$. In particular, the parameters of the end-foot trajectories are shaped via a linear feedback policy that takes the torso orientation and the terrain slope as inputs. The corresponding desired joint angles are obtained via an inverse kinematics solver and tracked via a PID control law. Augmented Random Search, a model-free and a gradient-free learning algorithm is used to train this linear policy. Simulation results show that the resulting walking is robust to terrain slope variations and external pushes. This methodology is not only computationally light-weight but also uses minimal sensing and actuation capabilities in the robot, thereby justifying the approach.

研究の動機と目的

• 低コスト四足歩行ロボットにおける勾配地形での安定した走行を実現する、最小限で計算効率の良い制御フレームワークの開発。
• 制限された駆動・センシング・計算リソースを備えたハードウェアに高度な制御則を実装する課題への対処。
• 最小限のチューニングで、1つの線形ポリシーを用いてさまざまな四足歩行ロボットに高速かつ一般化可能なポリシー展開を可能にする。
• ドメインランダマイゼーションを用いて、地形の傾きの変動、外部の摂動、パrameterの変動（摩擦、質量、モータ強度）に対してロバスト性を確保する。
• ARSを用いて訓練された線形ポリシーが、アーキテクチャやハイパーパrameterの変更なしに、多様なロボット形状と傾斜に一般化できることを示すこと。

提案手法

• 線形ポリシーは、胴体の姿勢と地形の傾き（前方運動学と足の接触検出を用いて推定）を、半楕円形の足軌道のパラメータにマッピングする。
• 安全なワークスペース適合性と高速なトレーニングを確保するため、楕円パラメータライゼーションを用いて足の軌道を生成する。
• 逆運動学ソルバーを用いて目的の関節角度を計算し、PID制御則を用いて追従する。
• 安定性と地形適応性を最適化するために、モデルフリーで勾配フリーな強化学習アルゴリズムである拡張ランダムサーチ（ARS）を用いてポリシーを訓練する。
• 表現能力の向上と摂動検出・ノイズフィルタリングの向上を目的として、姿勢履歴を入力に含める。
• 異なるハードウェアプラットフォームにおける摩擦、質量、モータ強度の変動に対するロバスト性を向上させるために、トレーニング中にドメインランダマイゼーションを適用する。

実験結果

リサーチクエスチョン

• RQ1 ARSを用いて訓練された線形ポリシーは、最小限のセンシングと計算オーバーヘッドで、勾配地形における安定的かつロバストな四足歩行を達成できるか？
• RQ2 1つの線形ポリシーは、運動学的・動力学的特性が異なるさまざまな四足歩行ロボットにどの程度一般化できるか？
• RQ3 線形ポリシーは、リアルタイムで地形の傾きの変動にどの程度適応し、外部の摂動を排除できるか？
• RQ4 姿勢履歴を組み込むことで、線形ポリシーの性能とロバスト性が向上するか？
• RQ5 トレーニング時にドメインランダマイゼーションを適用することで、摩擦・質量・モータ強度の未モデル化された変動に対しても一般化が可能になるか？

主な発見

• 線形ポリシーは、-9°から+15°の勾配において走行を安定化させ、地形に応じて重心の姿勢と高さをリアルタイムで調整した。
• 最大100 Nの横方向の外部力に対してもロバストであり、0.5秒以内に体の姿勢を是正し、ステップ長とステアリングを調整した。
• 上り坂走行中、ロール角の変動が±3°、ヨー角の変動が±6°に抑えられ、効果的な動的適応が実現した。
• アクションスペースのスケーリングとPDゲイン・周波数のわずかなチューニングのみで、HyQやUnitree-Laikagoなど他のロボットに対しても一般化された。
• 補足動画で確認したように、階段を勾配地形として扱うことで、線形ポリシーは安定した歩行を達成した。
• 姿勢履歴は、足の滑り検出とセンサノイズフィルタリングを可能にし、性能向上に顕著な寄与をした。