[論文レビュー] VAT-Mart: Learning Visual Action Trajectory Proposals for Manipulating 3D ARTiculated Objects

Ruihai Wu, Yan Zhao+8 more|arXiv (Cornell University)|Jun 28, 2021

Robot Manipulation and Learning参考文献 97被引用数 25

ひとこと要約

VAT-Martは、3D可動部品を操作するための点ごとのアクション適用性と多様な視覚的アクション軌道提案を学習し、相互作用-知覚フレームワークを実現して、未知の形状と実データへ一般化するよう強化学習と知覚ネットワークを共同訓練する。

ABSTRACT

Perceiving and manipulating 3D articulated objects (e.g., cabinets, doors) in human environments is an important yet challenging task for future home-assistant robots. The space of 3D articulated objects is exceptionally rich in their myriad semantic categories, diverse shape geometry, and complicated part functionality. Previous works mostly abstract kinematic structure with estimated joint parameters and part poses as the visual representations for manipulating 3D articulated objects. In this paper, we propose object-centric actionable visual priors as a novel perception-interaction handshaking point that the perception system outputs more actionable guidance than kinematic structure estimation, by predicting dense geometry-aware, interaction-aware, and task-aware visual action affordance and trajectory proposals. We design an interaction-for-perception framework VAT-Mart to learn such actionable visual representations by simultaneously training a curiosity-driven reinforcement learning policy exploring diverse interaction trajectories and a perception module summarizing and generalizing the explored knowledge for pointwise predictions among diverse shapes. Experiments prove the effectiveness of the proposed approach using the large-scale PartNet-Mobility dataset in SAPIEN environment and show promising generalization capabilities to novel test shapes, unseen object categories, and real-world data. Project page: https://hyperplane-lab.github.io/vat-mart

研究の動機と目的

• 人間環境における3D可動部品（例：キャビネット、ドア）のロバストな操作を、標準的な運動学表現を超えて促進する。
• 物体中心の実行可能な視覚的事前知識を提案し、物体上の各点でどこでどう操作するかを予測する。
• 相互作用-知覚フレームワーク（VAT-Mart）を開発し、探索駆動の軌道を共同学習し、それを一般化可能な事前知識へ要約する。
• PartNet-MobilityおよびSAPIEN環境を用いて、未知の形状やカテゴリー、実データへの一般化を実証する。

提案手法

• 特定の物体、相互作用タイプ、タスクに対して、インタラクションが実現可能である点を示すアクション可能性スコアを予測する。
• 点ごとの視覚的アクション軌道の分布と、それに対応する軌道ごとの成功確率を予測して、どのように相互作用すべきかを提案する。
• 点・物体・相互作用・タスク特徴に条件付けられた多様な軌道提案を生成するため、条件付き変分オートエンコーダを用いる。
• シミュレーション内で多様な相互作用軌道を探索するRLポリシー（TD3）を訓練し、知覚ネットワークによって実行可能な事前知識を学習するよう教師付けする；多様な提案を促進する好奇心駆動のフィードバックを含む。
• 部分点クラウドを符号化する知覚バックボーン（PointNet++ベース）を活用して、アクション可能性、軌道提案、軌道スコアを共同で予測する。
• PartNet-MobilityをSAPIENで評価し、 qualitatively および quantitatively に、新しい形状や実世界データへの一般化を含めて評価する。

実験結果

リサーチクエスチョン

• RQ1 点ごとのアクション可能性と軌道提案は、多様な3D可動形状や未見のカテゴリーに跨って一般化できるか。
• RQ2 密度が高く幾何学的に意味づけされたインタラクション条件付きの事前知識は、伝統的な運動学表現よりもダウンストリームの操作性能を改善するか。
• RQ3 好奇心駆動の探索を伴う相互作用-知覚ループは、多様でタスク関連性の高い軌道提案を生み出せるか。
• RQ4 learned priors は実世界の深度データや実ロボット実験へどの程度転移できるか。

主な発見

物体	相互作用	精度 (%)	適合率 (%)	再現率 (%)	F-スコア (%)	カバレッジ (%)
扉	押す	82.24 / 72.44	81.28 / 72.83	85.22 / 73.86	82.76 / 72.54	82.00 / 70.54
扉	引く	74.01 / 71.31	70.52 / 70.26	84.09 / 75.85	76.06 / 72.01	58.68 / 48.29
引き出し	押す	79.69 / 71.59	74.65 / 71.80	91.19 / 70.45	81.65 / 70.52	74.15 / 68.08
引き出し	引く	78.41 / 71.88	74.54 / 72.29	87.50 / 72.44	80.23 / 71.71	81.15 / 64.31

• アクション可能性予測は、扉と引き出しに対して定量的な精度、適合率、再現率、Fスコア、カバレッジを達成し、カテゴリ横断の一般化を示す。
• 軌道提案モジュールは、点・物体・相互作用・タスクに条件づけられた多様な相互作用軌道を生成し、軌道ごとの成功スコアがタスク成功と相関する。
• VAT-Martベースの下流の操作は、RLベースライン、手作りヒューリスティック、およびWhere2Act風のベースラインをほとんどのタスクで上回り、特に引く/押す動作において効果的である。
• 実世界データ実験は、実深度スキャンへの定性的一般化を示し、実ロボットデモが実践的アプローチを検証する。
• 本フレームワークは、アクション可能性ヒートマップから相互作用ポイントをサンプリングし、提案分布からトップレート軌道を選択することで、タスク認識型の計画スペースをコンパクトに提供する。