[論文レビュー] Grounding Sim-to-Real Generalization in Dexterous Manipulation: An Empirical Study with Vision-Language-Action Models

Ruixing Jin, Zicheng Zhu+5 more|arXiv (Cornell University)|Mar 24, 2026

Robot Manipulation and Learning被引用数 0

ひとこと要約

この論文は、巧緻なマニピュレーションにおけるVision-Language-ActionモデルのゼロショットSim2Real転送を実験的に研究し、統一された RoboTwin ベースのベンチマークと実世界評価を用いて、ドメインランダム化、レンダリング忠実度、RL微調整の影響を分離します。

ABSTRACT

Learning a generalist control policy for dexterous manipulation typically relies on large-scale datasets. Given the high cost of real-world data collection, a practical alternative is to generate synthetic data through simulation. However, the resulting synthetic data often exhibits a significant gap from real-world distributions. While many prior studies have proposed algorithms to bridge the Sim-to-Real discrepancy, there remains a lack of principled research that grounds these methods in real-world manipulation tasks, particularly their performance on generalist policies such as Vision-Language-Action (VLA) models. In this study, we empirically examine the primary determinants of Sim-to-Real generalization across four dimensions: multi-level domain randomization, photorealistic rendering, physics-realistic modeling, and reinforcement learning updates. To support this study, we design a comprehensive evaluation protocol to quantify the real-world performance of manipulation tasks. The protocol accounts for key variations in background, lighting, distractors, object types, and spatial features. Through experiments involving over 10k real-world trials, we derive critical insights into Sim-to-Real transfer. To inform and advance future studies, we release both the robotic platforms and the evaluation protocol for public access to facilitate independent verification, thereby establishing a realistic and standardized benchmark for dexterous manipulation policies.

研究の動機と目的

• ゼロショットSim2Real転送の主な推進力を理解する。
• ドメインランダム化要因、レンダリング忠実度、および強化学習微調整が実世界の性能にどの程度寄与するかを定量化する。
• 再現性を可能にする標準化評価プロトコルとオープンアクセスのベンチマーキングリソースを提供する。
• 複数の操作タスクにおいて、シミュレーション設計の選択が実世界のロバスト性にどのように対応づけられるかを評価する。

提案手法

• シミュレーションで訓練され、実機へデプロイされたVLAモデルのゼロショット転送について因子分解型の経験的研究を実施する。
• 統一されたシミュレーションベースの評価と分布シフトを制御するための RoboTwin 2.0 を用いる。
• ドメインランダム化を背景、テーブル（Table）ディストラクタ、カメラポーズ、照明、テーブル高さの5要因に分解し、エピソードごととフレームごとの粒度を比較する。
• レンダリング忠実度（フォトリアリズム）と物理リアリズムを系統的に変化させ、それらが転送に与える影響を測定する。
• 監視学習による微調整の上に強化学習微調整（GRPO）を組み込み、RL中のドメインランダム化の有無を含む多様なバリアントを検討する。
• 現実世界の試験数が >10k の5つの巧緻な二腕タスクを実施し、統制された現実世界評価プロトコルで評価する。

実験結果

リサーチクエスチョン

• RQ1 巧緻なマニピュレーションにおけるVLAモデルのゼロショットSim2Real一般化の主要な決定要因は何か？
• RQ2 ドメインランダム化要因、その時間的粒度、レンダリング忠実度、およびRL微調整がSim2Real転送性能にそれぞれどの程度寄与するか？
• RQ3 より高いフォトリアリズムや物理忠実度は一貫して実世界転送を改善するか、どの程度まで？
• RQ4 RL微調整はSim2Realのギャップを補えるか、RLとドメインランダム化を組み合わせると追加の利点が得られるか？
• RQ5 空間的変動は外観変更と比較して、VLAポリシーの実世界ロバストネスを改善するのにどの程度寄与するか？

主な発見

• 空間的特徴（カメラポーズ、テーブル高）による改善は、外観の撹乱（背景、照明）よりもSim2Real一般化を大きく推進する。
• フレーム単位のランダム化（エピソード単位と比較して）is generallyより大きな利得を生むことが多く、特に空間要因と背景テクスチャに対してそうである。
• レンダリング忠実度を高めると現実世界での成功率が向上するが、中程度のレベルを超えると収益は減少する傾向。物理忠実度は小さくとも正の利得をもたらす。
• 強化学習微調整はロバスト性を大幅に高め、ドメインランダム化と組み合わせると効果が大きい（例：RL時のDRで現実世界成功率約42.8％）。
• RL単独のみのクリーンなシミュレーションでもSFTより改善し、DRと同等の性能に近づく。RLとDRを併用すると最も強いSim2Realゲインを達成しうる（例：報告結果でSim-OOD 70.8%、Real 42.8%）。