[論文レビュー] Walk These Ways: Tuning Robot Control for Generalization with Multiplicity of Behavior

Gabriel B. Margolis, Pulkit Agrawal|arXiv (Cornell University)|Dec 6, 2022

Robotic Locomotion and Control被引用数 18

ひとこと要約

この論文では、数個の行動パラメータを調整することで、しゃがみ、疾走、ダンスなどの多様で制御可能な歩行戦略を生成できる1つの強化学習ポリシーを学習するための「行動の多様性（Multiplicity of Behavior, MoB）」を導入している。このアプローチにより、再訓練なしに分布外の環境（階段や滑りやすい地形など）に対してもリアルタイムで適応可能であり、1つのオープンソースコントローラーを用いて10個以上の未学習タスクにおいても強力な一般化性能を示している。

ABSTRACT

Learned locomotion policies can rapidly adapt to diverse environments similar to those experienced during training but lack a mechanism for fast tuning when they fail in an out-of-distribution test environment. This necessitates a slow and iterative cycle of reward and environment redesign to achieve good performance on a new task. As an alternative, we propose learning a single policy that encodes a structured family of locomotion strategies that solve training tasks in different ways, resulting in Multiplicity of Behavior (MoB). Different strategies generalize differently and can be chosen in real-time for new tasks or environments, bypassing the need for time-consuming retraining. We release a fast, robust open-source MoB locomotion controller, Walk These Ways, that can execute diverse gaits with variable footswing, posture, and speed, unlocking diverse downstream tasks: crouching, hopping, high-speed running, stair traversal, bracing against shoves, rhythmic dance, and more. Video and code release: https://gmargo11.github.io/walk-these-ways/

研究の動機と目的

• 訓練中に見られなかった分布外の環境に標準的な強化学習ポリシーが一般化しにくいという限界を解消すること。
• 階段や不整地、外部からの力の作用といった未学習状況でポリシーが失敗した際に、遅い繰り返しの再訓練が必要になる問題を克服すること。
• 再訓練に依存せず、1つの学習済みポリシーを用いてリアルタイムで歩行行動を迅速かつ柔軟にチューニングできる仕組みを提供すること。
• 1つのポリシーが複数の効果的な戦略をエンコードでき、それぞれが未学習タスクに対して異なる一般化特性を示すことを実証すること。
• 多様な歩行パターンやダンスのような複雑な行動をサポートする、強力でオープンソースのコントローラーを提供すること。

提案手法

• 平坦な地面での歩行という固定タスクで、足の上げる高さ、スタンス幅、周波数などの歩行特徴を制御するパラメータ化された行動空間を持つ1つの四足歩行ポリシーをシミュレーションで学習する。
• 体の高さ、足の上げる高さ、歩行周波数、位相オフセットなどの制御可能な行動パラメータを導入し、リアルタイムでポリシー出力を変更可能にする。
• 観測値と行動パラメータを入力として関節トルクを出力する低レベルコントローラーを採用し、リアルタイムでの行動切り替えを可能にする。
• リアルタイムでのパラメータチューニングにより、高速移動やリズミカルな歩行シーケンスを含む多様なタスクに同一ポリシーを適用する。
• 人間のパイLOTによるチューニングを活用して、再訓練を必要とせずにリアルタイムで行動空間を探索する。
• 多様な歩行パターンや、敏捷なジャンプや同期ダンスルーチンといった複雑な行動をサポートするオープンソースコントローラー「Walk These Ways」をリリースする。

実験結果

リサーチクエスチョン

• RQ1 1つの学習済みポリシーが、未学習環境に対して異なる一般化特性を示す複数の効果的な歩行戦略をエンコードできるか？
• RQ2 パラメータの変更によるリアルタイムの行動チューニングが、階段や滑りやすい表面といった分布外タスクへの適応にどの程度有効か？
• RQ3 再訓練なしに、MoBが多様なタスクにおける一般化性能をどの程度向上させるか？
• RQ4 公園クライムや同期ダンスのような複雑なタスクにおいて、高速な行動遷移や正確なタイミング制御が可能か？
• RQ5 MoBが提供する柔軟性と、インディストリビューション性能のトレードオフはどの程度か？

主な発見

• 平坦な地面でのみ学習した1つのポリシーが、リアルタイムでの行動チューニングにより、階段、不整地、外部からの力の作用といった多様な分布外タスクに成功して一般化している。
• コントローラーにより、3 m/sへの加速や60 cmの前方向ジャンプといった高速な歩行遷移が可能であり、動的かつ敏捷な動作を実現している。
• 歩行パラメータの正確なタイミング制御により、90 bpmのテンポで同期ダンスルーチンを実現でき、ステップの間隔を位相と周波数の変更で音楽のビートに合わせて整列させた。
• このシステムは、しゃがみ、ホッピング、高速走行、外部からの力への耐性、荷物の操作といった多様な行動をサポートしている。
• 平坦な地面での疾走性能にわずかな劣化は見られるが、パラメータチューニングのみで10個以上の未学習タスクに強く適応可能である。
• オープンソースの「Walk These Ways」コントローラーはリアルタイムでの行動選択をサポートしており、シミュレーションおよび実機デプロイメントの両方で検証済みである。