[論文レビュー] Frame Mining: a Free Lunch for Learning Robotic Manipulation from 3D Point Clouds

Minghua Liu, Xuanlin Li+3 more|arXiv (Cornell University)|Oct 14, 2022

3D Shape Modeling and Analysis被引用数 8

ひとこと要約

本論文では、エンドエフェクタ、ターゲット部品、ロボットベース、ワールドフレームなどの3次元点群座標フレームを適応的に選択・統合する、タスクに依存しないFrameMinersを提案する。これにより、ロボット操作学習におけるサンプル効率とパフォーマンスが向上する。追加のセンサーや学習データを必要とせず最適なフレームをマイニングすることで、5つの物理的操ritingタスクで最先端の結果を達成し、3次元ビジョンベース強化学習において「無料の昼食」を実現する。

ABSTRACT

We study how choices of input point cloud coordinate frames impact learning of manipulation skills from 3D point clouds. There exist a variety of coordinate frame choices to normalize captured robot-object-interaction point clouds. We find that different frames have a profound effect on agent learning performance, and the trend is similar across 3D backbone networks. In particular, the end-effector frame and the target-part frame achieve higher training efficiency than the commonly used world frame and robot-base frame in many tasks, intuitively because they provide helpful alignments among point clouds across time steps and thus can simplify visual module learning. Moreover, the well-performing frames vary across tasks, and some tasks may benefit from multiple frame candidates. We thus propose FrameMiners to adaptively select candidate frames and fuse their merits in a task-agnostic manner. Experimentally, FrameMiners achieves on-par or significantly higher performance than the best single-frame version on five fully physical manipulation tasks adapted from ManiSkill and OCRTOC. Without changing existing camera placements or adding extra cameras, point cloud frame mining can serve as a free lunch to improve 3D manipulation learning.

研究の動機と目的

• 3次元点群表現における座標フレームの選択が、ロボット操作学習のパフォーマンスに与える影響を調査すること。
• エンドエフェクタ、ターゲット部品、ロボットベース、ワールドフレームなどの座標フレームのうち、どのフレームが優れたサンプル効率と最終パフォーマンスを示すかを特定すること。
• 多様な操作タスクにわたって、最も効果的なフレームを自動的に選択・統合する、タスクに依存しないフレーム統合戦略を開発すること。
• 追加のカメラ、センサーやドメインランダマイゼーションを必要とせずに、フレームマイニングがパフォーマンスを向上させることを検証すること。

提案手法

• 本手法は、ワールドフレーム、ロボットベースフレーム、エンドエフェクタフレーム、ターゲット部品フレームの4つの候補フレームを評価する。各フレームはSE(3)変換により異なるシーンアライメントを提供する。
• FrameMinersは、複数のフレームからの特徴を統合するタスクに依存しない統合戦略として設計され、MixAction (FM-MA)、Temporal Gating (FM-TG) などを含む。
• 各フレームは共有された3次元バックボーン（例：PointNet）を介して独立して処理され、学習可能なアテンションまたは連結メカニズムを用いて特徴が統合される。
• 統合メカニズムにより、ポリシーはタスクのダイナミクスや状態文脈に応じて、最も情報量の多いフレームに動的に注目できる。
• 本手法は強化学習およびアノテーション学習の両方と互換性があり、広範な適用可能性を有する。
• デジタルツインパイプラインを用いて、シミュレーションで学習したポリシーを実世界のロボットに移行可能であり、ドメインギャップが顕著に発生しない。

実験結果

リサーチクエスチョン

• RQ1 異なる3次元点群座標フレームが、ロボット操作におけるポリシー学習のサンプル効率と最終パフォーマンスにどのように影響を与えるか？
• RQ2 エンドエフェクタ、ターゲット部品、ロボットベース、ワールドフレームのうち、どの座標フレームが多様な操作タスクにおいて一貫して優れた性能を示すか？
• RQ3 統一的でタスクに依存しないフレーム統合戦略は、複数のタスクで最良の単一フレームベースラインを上回ることができるか？
• RQ4 追加のカメラやセンサーデータを必要とせず、フレームマイニングがパフォーマンスを向上させることができるか。すなわち、3次元ビジョンベースRLにおいて「無料の昼食」として機能するか？

主な発見

• エンドエフェクタフレームとターゲット部品フレームは、一般的に使用されるワールドフレームやロボットベースフレームと比較して、複数のタスクで顕著にサンプル効率と最終成功確率が向上する。
• PushChairタスクでは、FrameMiners (FM-MA) がターゲット部品フレーム統合により36%から53%の成功率を達成した。
• PickObjectタスクでは、FM-MAがターゲット部品フレーム統合で97%の成功率を達成したのに対し、統合なしでは94%であった。これは一貫した改善を示している。
• Dual-armタスクであるPushChairおよびMoveBucketにおいて、FrameMinersは単一フレームベースラインを上回り、複数フレームの統合の価値を実証した。
• Kinova Jaco2ロボットを用いた実世界でのデプロイでは、FM-MAが84%の成功率を達成し、同じ訓練予算下でエンドエフェクタフレームベースライン（80%）を上回った。
• シミュレーションと実世界のパフォーマンスギャップは最小限に抑えられ、フレームマイニングがドメインギャップを悪化させないことを確認した。