[論文レビュー] Learning to Locomote with Deep Neural-Network and CPG-based Control in a Soft Snake Robot

Xuan Liu, Renato Gasoto+2 more|arXiv (Cornell University)|Jan 13, 2020

Soft Robotics and Applications参考文献 36被引用数 4

ひとこと要約

本稿では、柔軟なヘビ型ロボットのためのハイブリッド深層強化学習（PPOC-CPG）と中枢パターン生成器（CPG）制御フレームワークを提案する。このフレームワークにより、動的で適応的な目標追従と多様な歩行行動が可能になる。PPOに基づく方策と、周波数と振幅を独立に制御可能なMatsuoka発振子CPGを組み合わせることで、シミュレーションおよび実世界の実験において安定的かつ効率的で適応的な歩行が達成された。方策は6,400回の訓練エピソードを経て、動的目標にも一般化した。

ABSTRACT

In this paper, we present a new locomotion control method for soft robot snakes. Inspired by biological snakes, our control architecture is composed of two key modules: A deep reinforcement learning (RL) module for achieving adaptive goal-tracking behaviors with changing goals, and a central pattern generator (CPG) system with Matsuoka oscillators for generating stable and diverse locomotion patterns. The two modules are interconnected into a closed-loop system: The RL module, analogizing the locomotion region located in the midbrain of vertebrate animals, regulates the input to the CPG system given state feedback from the robot. The output of the CPG system is then translated into pressure inputs to pneumatic actuators of the soft snake robot. Based on the fact that the oscillation frequency and wave amplitude of the Matsuoka oscillator can be independently controlled under different time scales, we further adapt the option-critic framework to improve the learning performance measured by optimality and data efficiency. The performance of the proposed controller is experimentally validated with both simulated and real soft snake robots.

研究の動機と目的

• 動的環境において、柔軟なヘビ型ロボットが適応的で目標追従可能な歩行を実現できる生物学的インスピレーションを受ける制御フレームワークの開発。
• 高自由度と非線形アクチュエータダイナミクスを示す柔軟ロボットを、ハイブリッド学習と発振制御アプローチで制御する課題への対処。
• Matsuoka発振子パラメータ（周波数と振幅）の時間スケール分離を活用することで、強化学習のデータ効率と学習性能を向上。
• シミュレーションおよび実世界の柔軟なヘビ型ロボットプラットフォームにおけるコントローラーのロバストネスと一般化性能の検証。

提案手法

• 深層強化学習エージェント（PPOC-CPG）は、CPGネットワークの2つの入力を調整する：神経刺激（位相および振幅の制御）と周波数比（速度制御）。
• CPGネットワークは、結合されたMatsuoka発振子で構成され、発振周波数と波形振幅を独立して制御可能であり、多様な歩行パターンを可能にする。
• サンプル効率と収束性を向上させるために、終了関数と周波数ゲイン $K_f$ の動的調整を組み合わせたカリキュラム学習戦略を採用。
• シミュレーション訓練中にドメインランダマイゼーションを適用し、測定値の周辺で分布から物理的パラメータ（摩擦など）をサンプリングすることで、シミュレーションから実世界へのドメインギャップを低減。
• モーションキャプチャシステムを用いてリアルタイムの状態フィードバックと低遅延無線制御を実現し、方策を実際の柔軟なヘビ型ロボットに直接移行。
• 静的およびゆっくり動く目標を対象とした目標到達タスクでコントローラーを評価し、ロバストネスと適応性を示した。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッド深層強化学習とCPGベースの制御システムは、複雑で非線形なダイナミクスを示す柔軟なヘビ型ロボットにおいて、適応的目標追従を可能にするか？
• RQ2 Matsuoka発振子の周波数と振幅の独立制御は、歩行の多様性と学習効率をどのように向上させるか？
• RQ3 シミュレーションで訓練された方策は、最小限のシミュレーションから実世界への移行作業で、実世界の柔軟ロボットの歩行にどの程度一般化できるか？
• RQ4 カリキュラム学習とドメインランダマイゼーションは、柔軟ロボティクスの歩行制御の訓練におけるデータ効率と収束性を向上させるか？

主な発見

• PPOC-CPGコントローラーは6,400回の訓練エピソードを経て収束し、近似的に最適な方策に到達した。4台の並列ロボットを用いて約12時間でタスクを完了した。
• 方策はシミュレーションおよび実世界の両方で静的およびゆっくり動く目標を正常に追従し、固定目標での訓練を超えた一般化を示した。
• 実ロボットの平均速度は0.092 m/sであり、調整済みの摩擦パラメータ下でシミュレーテッドロボットの平均速度0.083 m/sに非常に近い値を示した。
• コントローラーは二段階の歩行戦略を示した：目標から離れている間は低周波数で高速移動し、目標に近づくと高周波数に切り替えて正確な接近と旋回を実現。
• ドメインランダマイゼーションにより、シミュレーションの不正確さに対するロバストネスが向上し、実世界への移行性能が改善された。
• シミュレーションと実ロボットの間で状態の進化に遅延が観察された。これは接触ダイナミクスの不正確なモデル化が原因である可能性が高く、より良い物理モデル化または適応的フィードバック機構の導入が求められる。