[論文レビュー] Learning 3D Dynamic Scene Representations for Robot Manipulation

Zhenjia Xu, Zhanpeng He+2 more|arXiv (Cornell University)|Nov 3, 2020

Human Pose and Action Recognition参考文献 39被引用数 21

ひとこと要約

本論文では、深度観測から物体の持続性、模擬的完全性、時空間的連続性を捉える動的シーン表現（DSR）を学習するエンドツーエンドの3次元再帰ニューラルネットワーク、DSR-Netを提案する。予測されたシーンフローを用いて特徴マップをワープすることで、DSR-Netは視覚的履歴を空間的に整合的に集約し、3次元シーンダイナミクス予測において最先端の性能を達成するとともに、平面押しのロボット操作タスクにおける正確なモデル予測制御を可能にする。

ABSTRACT

3D scene representation for robot manipulation should capture three key object properties: permanency -- objects that become occluded over time continue to exist; amodal completeness -- objects have 3D occupancy, even if only partial observations are available; spatiotemporal continuity -- the movement of each object is continuous over space and time. In this paper, we introduce 3D Dynamic Scene Representation (DSR), a 3D volumetric scene representation that simultaneously discovers, tracks, reconstructs objects, and predicts their dynamics while capturing all three properties. We further propose DSR-Net, which learns to aggregate visual observations over multiple interactions to gradually build and refine DSR. Our model achieves state-of-the-art performance in modeling 3D scene dynamics with DSR on both simulated and real data. Combined with model predictive control, DSR-Net enables accurate planning in downstream robotic manipulation tasks such as planar pushing. Video is available at https://youtu.be/GQjYG3nQJ80.

研究の動機と目的

• 遮蔽やごみだらけの環境で失敗する2次元および部分的な3次元視覚予測モデルの限界を克服すること。
• 物体が遮蔽されたり部分的にしか観測されない状況でも、物体の同一性と完全な幾何学的形状を維持する3次元シーン表現を開発すること。
• 構造的でない動的シーンにおいて、ロボットの相互作用を伴う剛体運動の長時間予測を正確に行えるようにすること。
• 学習した表現をモデル予測制御（MPC）に統合し、ロボット操作計画の性能を向上させること。
• 80,000件のシミュレート済みおよび1,500件の現実世界での相互作用を含むベンチマークデータセットを構築し、動的3次元シーン表現の評価を可能にすること。

提案手法

• 深度画像をトランケートド・サインド・ディスタンス・フィールド（TSDF）に変換する3次元ボリュメトリックシーンエンコーダを用いて3次元シーン表現を生成する。
• 現在のシーン表現とロボットの行動から、ボリュメトリックなシーンフローを推定するための運動予測ネットワークを訓練する。
• 予測されたシーンフローを用いてシーン表現を空間的にワープし、時系列間での特徴を整列させ、履歴集約を実現する。
• ワープされた現在の表現と次の観測の表現を特徴マップの連結と3次元畳み込みによって統合する。
• 再構成損失と運動予測損失を用いて、シミュレーション上でDSR-Netフレームワークをエンドツーエンドで訓練する。
• 実世界データで微調整し、平面押しタスクにおける行動計画にモデル予測制御（MPC）を統合して実装する。

実験結果

リサーチクエスチョン

• RQ1 物体が直接見えない状況でも、3次元シーン表現が遮蔽中においても物体の同一性と幾何学的形状を維持できるか。
• RQ2 時空間的連続性を学習することで、複数の物体が存在する動的環境における長時間予測の性能がどの程度向上するか。
• RQ3 運動予測による特徴ワープは、空間的に整合的な方法で視覚的履歴を集約するためにどの程度有効か。
• RQ4 学習された3次元動的シーン表現は、平面押しのようなロボット操作タスクにおける行動計画を向上させられるか。
• RQ5 提案手法は、シミュレーションおよび現実世界の両環境で、先行する最先端モデルと比較してどの程度優れているか。

主な発見

• DSR-Netは平面押しタスクにおけるターゲット状態の一致度で0.72のIoUを達成し、SE3-Net（0.31）およびSE3Pose-Net（0.32）を著しく上回った。
• 単一ステップ法とNoWarpベースラインとは異なり、静的および動的遮蔽の両方においても物体の同一性を保持し、運動を正しく予測できた。
• シミュレーションでは、順不同IoU（0.78）および順序付きIoU（0.81）の両方で高いスコアを達成し、強固な時空間的連続性と一貫したインスタンス追跡を示した。
• アブレーションスタディにより、運動予測によるワープが履歴集約を改善することが確認され、真値ワープ（GTWarp）を用いることでさらに高い性能が得られた。
• 実世界環境への一般化が可能であり、テーブルトップ上の平面押しタスクにおけるUR5ロボットプラットフォームでも一貫した性能を示した。
• 80,000件のシミュレート済みおよび1,500件の現実世界での相互作用を含む本手法のベンチマークデータセットにより、動的3次元シーン表現の信頼性ある評価が可能になった。