[論文レビュー] Scaling Single Human Demonstrations for Imitation Learning using Generative Foundational Models

Nick Heppert, Minh Quang Nguyen+1 more|arXiv (Cornell University)|Feb 13, 2026

Robot Manipulation and Learning被引用数 0

ひとこと要約

Real2GenはReality-to-Simulation手法で、1つの人間デモを3D生成モデルとシミュレートされた専門家を介して無制限のロボット学習データへ拡張し、DITTOベースラインより著しく高い成功率を達成し、ゼロショット現実転送を可能にする。

ABSTRACT

Imitation learning is a popular paradigm to teach robots new tasks, but collecting robot demonstrations through teleoperation or kinesthetic teaching is tedious and time-consuming. In contrast, directly demonstrating a task using our human embodiment is much easier and data is available in abundance, yet transfer to the robot can be non-trivial. In this work, we propose Real2Gen to train a manipulation policy from a single human demonstration. Real2Gen extracts required information from the demonstration and transfers it to a simulation environment, where a programmable expert agent can demonstrate the task arbitrarily many times, generating an unlimited amount of data to train a flow matching policy. We evaluate Real2Gen on human demonstrations from three different real-world tasks and compare it to a recent baseline. Real2Gen shows an average increase in the success rate of 26.6% and better generalization of the trained policy due to the abundance and diversity of training data. We further deploy our purely simulation-trained policy zero-shot in the real world. We make the data, code, and trained models publicly available at real2gen.cs.uni-freiburg.de.

研究の動機と目的

• 模倣学習におけるデータ収集の労力を豊富な人間デモを活用して削減する動機づけ。
• 1つの人間デモをスケーラブルなシミュレーションデータセットへ変換するReal2Genパイプラインを提案。
• 生成されたロボットデモンストレーションを用いた方針学習をフローマッチングアプローチで可能にする。

提案手法

• DITTO等を用いて単一の人間デモからオブジェクト中心情報を抽出。
• 生成モデル（Point-E）を用いて3Dオブジェクト資産を生成し、Zero-Shot-Poseで人間デモに合わせてスケールと姿勢を再現する。
• 生成メッシュを用いたシミュレート環境（SAPIEN）を作成し、スクリプト化された専門家エージェントを介して大規模なロボットデモデータを作成。
• 現在の観測に条件付けされたフロー適合方針（PointFlowMatch）を訓練し、専門家の行動を模倣する。
• 未知の現実世界の物体インスタンスへの転送を評価し、学習された方針の現実世界でのゼロショット展開を実施。

実験結果

リサーチクエスチョン

• RQ1 1つの人間デモをロボット学習に適したスケーラブルなシミュレーションデータセットへ変換可能か。
• RQ2 Real2Genは成功率とタスク間の一般化の点で従来法（例：DITTO）とどう比較されるか。
• RQ3 生成メッシュ数とデモンストレーション数が方針性能に与える影響はどの程度か。
• RQ4 生成された方針は現実ロボットへゼロショット転送可能か。

主な発見

• Real2Genは3タスク（Tray上のスポンジ、Tray上のコーク、Paperroll立て）でDITTOベースラインより平均成功率が高い。
• Real2Genの平均総合成功率：37.5% vs. 10.9%（DITTO）および 8.2%（DITTO with ZSP）。
• 生成資産の利用によりタスク関連のメッシュオプションが増え、学習データの多様性が向上する。
• アブレーション解析は、一定数を超えるメッシュ/デモンストレーションでリターンが逓減することを示し、データ量と品質のバランスを示唆。
• Real2Genはシミュレーションで訓練した方針を現実のロボットシステムへゼロショット転送でき、現実的なタスクにおいて非自明な成功を示す。
• 著者ページでデータ・コード・訓練済みモデルを公開する。