[論文レビュー] MyoDex: A Generalizable Prior for Dexterous Manipulation

Vittorio Caggiano, Sudeep Dasari+1 more|arXiv (Cornell University)|Sep 6, 2023

Muscle activation and electromyography studiesEngineering被引用数 3

ひとこと要約

MyoDex は、生理的リアリズムを持つ筋骨格的ヒト手モデル（MyoHand）上でマルチタスク強化学習を活用することで、包括的で一般化可能な操作行動事前知識を導入し、未観測の接触豊富なタスクへの迅速な少サンプル適応を可能にする。自己蒸留ベースラインと比較して、タスク解決数が3倍、学習速度が4倍速く、AdroitDex を介して24自由度のAdroitHandに対しても転移性を示し、SOTA よりも5倍のサンプル効率性を達成する。

ABSTRACT

Human dexterity is a hallmark of motor control. Our hands can rapidly synthesize new behaviors despite the complexity (multi-articular and multi-joints, with 23 joints controlled by more than 40 muscles) of musculoskeletal sensory-motor circuits. In this work, we take inspiration from how human dexterity builds on a diversity of prior experiences, instead of being acquired through a single task. Motivated by this observation, we set out to develop agents that can build upon their previous experience to quickly acquire new (previously unattainable) behaviors. Specifically, our approach leverages multi-task learning to implicitly capture task-agnostic behavioral priors (MyoDex) for human-like dexterity, using a physiologically realistic human hand model - MyoHand. We demonstrate MyoDex's effectiveness in few-shot generalization as well as positive transfer to a large repertoire of unseen dexterous manipulation tasks. Agents leveraging MyoDex can solve approximately 3x more tasks, and 4x faster in comparison to a distillation baseline. While prior work has synthesized single musculoskeletal control behaviors, MyoDex is the first generalizable manipulation prior that catalyzes the learning of dexterous physiological control across a large variety of contact-rich behaviors. We also demonstrate the effectiveness of our paradigms beyond musculoskeletal control towards the acquisition of dexterity in 24 DoF Adroit Hand. Website: https://sites.google.com/view/myodex

研究の動機と目的

• 未観測の接触豊富なタスクへの迅速な適応を可能にする包括的で一般化可能な器用な操作の行動事前知識を開発すること。
• 生理的リアリズムを持つ手モデル上でマルチタスク学習が、人間の運動制御に類似したタスクに依存しない協調的パターンを暗黙的に捉えるかどうかを調査すること。
• 学習済み事前知識がヒト手以外の高次元ロボットシステムにも転送可能かどうかを実証すること。
• 学習済み行動事前知識における一般性と特化性のトレードオフを評価すること。
• モーションキャプチャデータに依存せず、強化学習と内発的探索にのみ依存して器用な操作を可能にすること。

提案手法

• 本手法は、57種類の多様な接触豊富な操作タスクを用いた MyoHand 筋骨格モデル上でのマルチタスク強化学習を活用し、タスクに依存しない行動事前知識 MyoDex を暗黙的に学習する。
• MyoDex は共有ポリシー・ヘッドとタスク固有のヘッドを備えた深層強化学習で訓練され、タスク間でのパラメータ共有と転移学習が可能になる。
• 本手法は、23関節、40本以上の筋肉、3次元筋肉ダイナミクスを備えた生理的精度の高い手モデルを活用し、リアルなバイオメカニクスと接触力のシミュレーションを実現する。
• アブレーションスタディでは、均一なタスク分布と多様なタスク分布の両方で事前学習した事前知識を比較し、タスクの多様性が一般化性能に与える影響を評価する。
• MyoDex が使用した14のタスクを同じく用いて AdroitHand に適応した事前知識 AdroitDex を学習することで、本手法を24自由度のAdroitHandに拡張し、クロスプラットフォーム転移を実証する。
• 性能評価は、TCDMベンチマークにおける未観測タスクへのファインチューニングを通じて実施され、成功確率とサンプル効率性を測定する。

Figure 1: Contact rich manipulation behaviors acquired by MyoDex with a physiological MyoHand

実験結果

リサーチクエスチョン

• RQ1 1つの統一ポリシーが、筋骨格的手モデル上でマルチタスク強化学習により学習された場合、多様で未観測のタスクに包括的に一般化可能な器用な操作の事前知識として機能するか？
• RQ2 事前学習タスクの多様性が、学習済み行動事前知識の一般化能力にどのように影響するか？
• RQ3 学習済み事前知識（MyoDex）が、新しいドメイン外の操作タスクにおいて、どれほど高速かつサンプル効率的に学習を促進できるか？
• RQ4 同様の枠組みが、AdroitHand などの他の高次元ロボット手に対しても成功裏に適用可能か？
• RQ5 学習済み事前知識は、生物学的運動制御に一致する筋肉協調パターンを示すか？

主な発見

• MyoDex を用いることで、自己蒸留ベースラインと比較して、未観測の器用な操作タスクを約3倍多く解決できる。
• MyoDex を用いたエージェントは、少サンプル一般化設定において、自己蒸留ベースラインと比較して4倍の高速な学習速度を達成する。
• AdroitHand 用の対応事前知識 AdroitDex は、約1000万ステップでTCDMベンチマークの34の未観測タスクで74.5％の成功確率を達成し、SOTA手法が必要とする5000万ステップと比較して5倍のサンプル効率性を示す。
• アブレーションスタディの結果、均一なタスク分布ではなく多様なタスク分布で事前学習した場合（MyoDex Alt Diverse）の方が、一般化性能が優れており、均一なタスクで事前学習した場合（MyoDex Alt Homogenous）は早期に飽和する。
• 筋肉協調性分析の結果、MyoDex はエキスパートや自己蒸留ポリシーと比較して、より少ない数のより協調的な筋肉活性化パターンを学習しており、生物学的運動制御の原則と整合している。
• 本手法は、モーションキャプチャデータに依存せず、強化学習と内発的探索にのみ依存して、リアルな接触豊富な操作行動を学習することに成功した。

Figure 2: MyoHand - Musculoskeletal Hand model (Caggiano et al., 2022a ) . On the left, rendering of the musculoskeletal structure illustrating bone – in gray – and muscle – in red. On the right a skin-like surface for soft contacts is overlaid to the musculoskeletal model.