[論文レビュー] Hyperbolic Multiview Pretraining for Robotic Manipulation

Jin Yang, Ping Wei+2 more|arXiv (Cornell University)|Mar 5, 2026

Robot Manipulation and Learning被引用数 0

ひとこと要約

HyperMVP は幾何的構造を持つ非ユークリッド表現を活用してハイパーボリック空間で GeoLink エンコーダを事前学習し、ロボット操作の多視点3D表現を学習。摂動やタスクを跨ぐ一般化を改善し、3D-MOV を導入、Colosseum、RLBench、実世界設定で強力な利得を示す。

ABSTRACT

3D-aware visual pretraining has proven effective in improving the performance of downstream robotic manipulation tasks. However, existing methods are constrained to Euclidean embedding spaces, whose flat geometry limits their ability to model structural relations among embeddings. As a result, they struggle to learn structured embeddings that are essential for robust spatial perception in robotic applications. To this end, we propose HyperMVP, a self-supervised framework for \underline{Hyper}bolic \underline{M}ulti\underline{V}iew \underline{P}retraining. Hyperbolic space offers geometric properties well suited for capturing structural relations. Methodologically, we extend the masked autoencoder paradigm and design a GeoLink encoder to learn multiview hyperbolic representations. The pretrained encoder is then finetuned with visuomotor policies on manipulation tasks. In addition, we introduce 3D-MOV, a large-scale dataset comprising multiple types of 3D point clouds to support pretraining. We evaluate HyperMVP on COLOSSEUM, RLBench, and real-world scenarios, where it consistently outperforms strong baselines across diverse tasks and perturbation settings. Our results highlight the potential of 3D-aware pretraining in a non-Euclidean space for learning robust and generalizable robotic manipulation policies.

研究の動機と目的

• 非ユークリッドで構造を意識した表現を活用して頑健なロボット操作を動機付ける。
• 3D点群からマルチビュー・ハイパーボリック埋め込みを学習する自己教師付き事前学習フレームワークを開発する。
• 多様な3Dデータが下流タスクに与える影響を検討する大規模な3D-MOVデータセットを導入する。
• ハイパーボリック事前学習がシミュレーションと実世界のロボット操作で一般化を向上させることを示す。
• 下流の視覚運動ポリシーに対して柔軟な入力ビューを前提にスケーラブルなファインチューニングを可能にする。

提案手法

• GeoLink エンコーダを追加し、ユークリッドパッチ埋め込みをハイパーボリック空間（ローレンツモデル）へ写像する MAE を拡張する。
• 各3D点群を5つの正投影ビューにレンダリングし、ビュー固有の埋め込みとマスキングを適用する。
• 指数写像によるハイパーボリック空間へのリ lifting を用い、構造を強制するハイパーボリック空間損失（パッチ意識付きTop-K順位相関と含意損失）を適用する。
• 事前学習目的はハイパーボリック表現の制約と再構成損失（視点内・視点間 MAE デコーディング）を組み合わせる。
• ファインチューニング時には GeoLink と Robotic View Transformer (RVT) を共同最適化して視覚運動ポリシーを学習し、任意のビュー数へ拡張可能とする。

実験結果

リサーチクエスチョン

• RQ1 ハイパーボリックでマルチビューの表現は、ユークリッド空間を超えた3D認識型の事前学習を改善できるか？
• RQ2 多様な3Dデータ（オブジェクトレベルとシーンレベル）は下流の操作性能にどのように影響するか？
• RQ3 自己教師付きのハイパーボリック事前学習目的は、摂動とタスクを跨る頑健な表現を生み出すか？
• RQ4 ファインチューニング時に入力ビューの数を変えて事前学習をスケールさせることは可能か？
• RQ5 ハイパーボリック埋め込みは実世界のロボット操作設定へ効果的に転移するか？

主な発見

• HyperMVP は Colosseum の摂動設定、RLBench、実世界のテストでベースラインを一貫して上回る。
• GeoLink を用いたハイパーボリック事前学習は、ユークリッドベースラインや他の自己教師付き法に対して substantial gains をもたらす。
• 3D-MOV データセット（約20万点群と100万のマルチビュー画像）は、多様なシーンデータで効果的な事前学習を支える。
• RLBench では、HyperMVP が18タスク中の平均成功率で最高を達成し、初期から RVT の改善を上回る。
• 実世界の実験では、HyperMVP は成功率が高く、摂動下でのロバスト性も RVT より優れており、特に高精度タスクで顕著である。