Skip to main content
QUICK REVIEW

[論文レビュー] Grasp to Act: Dexterous Grasping for Tool Use in Dynamic Settings

Harsh Gupta, Mohammad Amin Mirzaee|arXiv (Cornell University)|Feb 24, 2026
Robot Manipulation and LearningEngineering被引用数 0
ひとこと要約

Grasp-to-Act (G2A) は、物理ベースの初期グリップ最適化とオンライン強化学習に基づく適応を組み合わせ、ダイナミックな道具使用タスクで安定的かつ機能的なグリップを維持し、5つのタスクでのシム-to-real の堅牢な移行を実現します。

ABSTRACT

Achieving robust grasping with dexterous hands remains challenging, especially when manipulation involves dynamic forces such as impacts, torques, and continuous resistance--situations common in real-world tool use. Existing methods largely optimize grasps for static geometric stability and often fail once external forces arise during manipulation. We present Grasp-to-Act, a hybrid system that combines physics-based grasp optimization with reinforcement-learning-based grasp adaptation to maintain stable grasps throughout functional manipulation tasks. Our method synthesizes robust grasp configurations informed by human demonstrations and employs an adaptive controller that residually issues joint corrections to prevent in-hand slip while tracking the object trajectory. Grasp-to-Act enables robust zero-shot sim-to-real transfer across five dynamic tool-use tasks--hammering, sawing, cutting, stirring, and scooping--consistently outperforming baselines. Across simulation and real-world hardware trials with a 16-DoF dexterous hand, our method reduces translational and rotational in-hand slip and achieves the highest task completion rates, demonstrating stable functional grasps under dynamic, contact-rich conditions.

研究の動機と目的

  • Impact や連続的抵抗、衝撃、トルクなどのダイナミック力下での道具使用に対する堅牢な把握の動機づけ。
  • 物理ベースの把持評価と強化学習ベースのオンライン適応を組み合わせたハイブリッドフレームワーク(G2A)を開発。
  • 人間のデモンストレーションを活用して、 dexterous hands に適した機能的で包絡的な把持へと把握合成をバイアス。
  • シミュレーションと実機の5つの道具使用タスク( hammering, sawing, cutting, stirring, scooping)でアプローチを検証。
  • 静的最適化と RL ベースラインと比較して安定性の向上、滑りの低減、タスク完遂の優越性を示す。

提案手法

  • 2段階の grasp-to-act パイプライン:人間のデモ wrist pose を周囲に設定してシミュレーションで候補把持を生成し、ねじれ空間の撓み下で安定初期把持を選択。
  • 撓み空間安定性試験を12次元(±x、±y、±z の力とトルク)で実施し、候補把持を安定性でランク付け。
  • オンライン適応としての強化学習により、グリップ安定性を維持しつつ人間の示 trajectories に従う残差関節トルクを発行。
  • 現実世界のロバスト性を高めるため、質量、摩擦、力係数のドメインランダム化と簡略化した力モデルを用いたシミュレーション環境。
  • ポリシー πθ は PPO ベースで、状態 s(t)(ロボットの固有運動、目標姿勢、正規化された時間)を取り、残差関節調整 Δq_t を出力。報酬は位置・姿勢の整合と大域的なずれに対するペナルティを組み合わせ。
  • 実機は 16-DoF LEAP ハンドを UR5 アームに搭載し、デモ軌道と整合させるための視覚/姿勢推定を使用。

実験結果

リサーチクエスチョン

  • RQ1物理ベースの安定性最適化とオンライン RL 適応を組み合わせたハイブリッド把持フレームワークは、ダイナミックで接触が多い操作中に安定かつ機能的な把持を維持できるか。
  • RQ2人間のデモンストレーションを利用して把持合成を初期化することは、シムtoリアル移行と dexterous hands のタスク性能を向上させるか。
  • RQ3オンライン残差指の調整が手持ち滑りを減らし、ダイナミック道具使用タスクでの成功率を高める影響は?
  • RQ4G2A は複数の道具形状で、外力・衝撃の大きい状況でどのように性能を発揮するか。
  • RQ5ダイナミックな操作下での dexterous 把持の sim-to-real 移行の限界は何で、それをどう緩和できるか。

主な発見

  • G2A は hammering、sawing、cutting、stirring、scooping のタスク全般で robust な zero-shot sim-to-real 移行を達成。
  • G2A は基準手法と比較して手持ちの平移滑り(Et)および回転滑り(Eθ)を一貫して低減し、タスク完遂率または成功率を高める。
  • 解析的に安定な把持から開始し、オンライン RL ベースの残差補正を適用することで、RL 単独または静的最適化よりも収束が速く、安定性が向上。
  • 挑戦的でダイナミックなタスク(例:繰り返し衝撃のある hammering)において、オンライン適応は把持安定性とタスク性能に有意な改善を提供。
  • ツールのバリアント間の汎化性能は G2A 使用時に強く、未知の幾何形状でも安全な把持と高いタスク成功を維持。
  • 実世界の実験では、5タスク全てで G2A が最も小さい平行移動誤差と姿勢誤差、および最高のタスク完遂を示す。

この論文を読む

Nubintのビューアで原文を開き、読みながら気になる箇所をすぐに質問できます。

Nubintでこの論文を読む

このレビューはAIが論文の原文をもとに作成しました。引用する前に原文をご確認ください。