[論文レビュー] H-InDex: Visual Reinforcement Learning with Hand-Informed Representations for Dexterous Manipulation

Yanjie Ze, Yuyao Liu+5 more|arXiv (Cornell University)|Oct 2, 2023

Robot Manipulation and Learning被引用数 4

ひとこと要約

H-InDexは、事前学習された3次元人間の手ポーズ表現を活用して、ロボットのデリケートな操作を向上させる視覚的強化学習フレームワークを提案する。自己教師付きキーポoin検出とEMA BatchNorm適応を介して、パラメータのたった0.36%のみを微調整することで、12の挑戦的な操作タスクにおいて最先端の性能を達成し、最近の視覚的基盤モデルを上回る。

ABSTRACT

Human hands possess remarkable dexterity and have long served as a source of inspiration for robotic manipulation. In this work, we propose a human $ extbf{H}$and$ extbf{-In}$formed visual representation learning framework to solve difficult $ extbf{Dex}$terous manipulation tasks ($ extbf{H-InDex}$) with reinforcement learning. Our framework consists of three stages: (i) pre-training representations with 3D human hand pose estimation, (ii) offline adapting representations with self-supervised keypoint detection, and (iii) reinforcement learning with exponential moving average BatchNorm. The last two stages only modify $0.36\%$ parameters of the pre-trained representation in total, ensuring the knowledge from pre-training is maintained to the full extent. We empirically study 12 challenging dexterous manipulation tasks and find that H-InDex largely surpasses strong baseline methods and the recent visual foundation models for motor control. Code is available at https://yanjieze.com/H-InDex .

研究の動機と目的

• 人間の手の器用さに由来する視覚的表現を用いて、ロボットハンドのデリケートな操作を向上させること。
• 視覚的強化学習におけるロボットポリシー学習への人間の手の知識の転移を解決すること。
• 事前学習モデルのパラメータのわずかな部分の更新によって、継続的忘却を最小限に抑えること。
• 市販の手ポーズ推定器が、完全な再訓練なしにロボット制御のための有効な視覚的事前知識として機能できることを示すこと。

提案手法

• FrankMocapを用いて3次元人間の手ポーズ推定器で視覚的表現を事前学習し、特徴エンコーダーに人間の器用さを埋め込む。
• 自己教師付きキーポイント検出を介して事前学習表現を適応させ、パラメータのたった0.18%（BatchNorm層のアフィン変換）を更新する。
• 強化学習中に指数移動平均（EMA）BatchNormを適用し、適応を向上させるために正規化統計を動的に調整する。
• 適応中に畳み込みバックボーンを凍結し、事前学習済みの知識を保持するとともに、ドメインシフトへの一般化を可能にする。
• 標準的な視覚的RLパイプラインを用い、適応済み表現を入力とし、ポリシーと報酬設計を変更しないことで、独立した評価を実現する。
• 3段階のパイプラインを採用する：（1）人間の手ポーズでの事前学習、（2）最小限の微調整を伴うオフライン適応、（3）EMA BatchNormを用いたエンドツーエンドのRLトレーニング。

Figure 1 : Normalized average score for our algorithm H-InDex and the baselines (VC-1 [ 17 ] , MVP [ 31 ] , R3M [ 18 ] , and RRL [ 27 ] ).

実験結果

リサーチクエスチョン

• RQ1 事前学習された3次元人間の手ポーズ表現は、ロボットのデリケートな操作タスクにおけるサンプル効率と性能を向上させることができるか？
• RQ2 事前学習視覚モデルのパラメータのわずかな部分（0.18%）のみを微調整することで、人間の器用さを保持しながらロボットドメインに適応できるか？
• RQ3 適応済み表現を用いた視覚的RLにおいて、EMA BatchNormはポリシー学習の安定性と性能をどのように向上させるか？
• RQ4 人間の手の理解に事前学習されたモデルは、タスク固有の事前学習なしにロボット操作タスクに効果的に一般化できるか？
• RQ5 VC-1、MVP、R3Mといった最近の視覚的基盤モデルと比較して、H-InDexは性能と頑健性の面でどのように差をつけるか？

主な発見

• H-InDexは、12の挑戦的なデリケートな操作タスクにおいて、VC-1、MVP、R3M、RRLといった強力なベースラインを上回り、正規化平均スコア比較でその優位性を示している。
• 99.64%の事前学習モデルパラメータを保持することで、適応段階での継続的忘却を最小限に抑え、優れた性能を達成している。
• パラメータのたった0.18%（BatchNormのアフィン重み）の適応で、全パラメータの微調整よりも優れた結果が得られ、パラメータ効率の良い適応の利点を裏付けている。
• アブレーションスタディにより、ステージ3におけるEMA BatchNormが訓練の安定性と最終的な性能を顕著に向上させ、必要不可欠であることが確認された。
• リロケート・ポットド・ミートキャンタスクで背景を変更した際の実験から、H-InDexはVC-1よりも優れた一般化性能を示している。
• 可視化により、最小限のパラメータ更新でも、適応済みモデルが手と物体のキーポイントに適切に注目していることが確認され、効果的な特徴の整合性が得られている。

Figure 2 : The overview of H-InDex. H-InDex consists of three stages: 1) representation pre-training, 2) representation offline adaptation, and 3) reinforcement learning.