[論文レビュー] Predicting Stable Configurations for Semantic Placement of Novel Objects

Chris Paxton, Chris Xie+2 more|arXiv (Cornell University)|Aug 26, 2021

Robot Manipulation and Learning参考文献 39被引用数 10

ひとこと要約

本稿では、RGB-Dセンシングのみを用いて、ロボットが現実世界の環境で新しい物体を意味的に配置できる学習ベースのフレームワークを提案する。模擬環境で訓練された関係性分類器とシーン現実性ディスクリミネータを組み合わせることで、現実世界での微調整なしに安定的かつ意味的に意味のある物体配置を計画可能となり、未確認の物体を用いた実世界実験でも高い成功率を達成した。

ABSTRACT

Human environments contain numerous objects configured in a variety of arrangements. Our goal is to enable robots to repose previously unseen objects according to learned semantic relationships in novel environments. We break this problem down into two parts: (1) finding physically valid locations for the objects and (2) determining if those poses satisfy learned, high-level semantic relationships. We build our models and training from the ground up to be tightly integrated with our proposed planning algorithm for semantic placement of unknown objects. We train our models purely in simulation, with no fine-tuning needed for use in the real world. Our approach enables motion planning for semantic rearrangement of unknown objects in scenes with varying geometry from only RGB-D sensing. Our experiments through a set of simulated ablations demonstrate that using a relational classifier alone is not sufficient for reliable planning. We further demonstrate the ability of our planner to generate and execute diverse manipulation plans through a set of real-world experiments with a variety of objects.

研究の動機と目的

• RGB-Dセンシングのみを用いて、未確認の物体を構造的でない現実世界の環境で意味的に入れ替え可能にするロボットの実現。
• 手動で設計されたルールベース分類器に起因するバイアスを避けるために、データから高レベルの意味的関係を学習する。
• 模擬環境で訓練されたシーン現実性ディスクリミネータを用いて、物理的に現実的で衝突のない物体配置を保証する。
• 3次元点群における物体ポーズのサンプリングにより、高レベル計画と低レベルの運動制御を分離し、最先端の運動計画法との統合を可能にする。
• 実世界での微調整なしに、未確認の物体や多様な関係的述語に一般化することのできる性能の確認。

提案手法

• システムは、模擬RGB-Dデータで訓練された関係性分類器を用い、物体インスタンス間の意味的述語（例：「近くに」、「後ろに」、「接触」）を予測する。
• シーン現実性ディスクリミネータは、原始的な点群とセグメンテーションマスクのみを用いて、物理的に妥当な物体ポーズと不適切なポーズを区別するように訓練される。
• プランナは3次元空間における物体ポーズをサンプリングし、関係性分類器と現実性ディスクリミネータを用いて、有効で目的指向の配置を評価する。
• モデルベースの運動計画法（RRT-Connect）とグリップ予測（[29] より）を統合し、実行可能な操作計画を生成する。
• 目的の関係的ゴールに条件付けられた物体ポーズサンプラーを用いることで、計画の高速化と解の多様性の向上を実現する。
• すべてのモデルはシミュレーション内でのみ訓練され、実世界に直接展開され、実世界での微調整は一切行わない。

実験結果

リサーチクエスチョン

• RQ1 学習ベースのシステムは、RGB-D入力のみを用いて、現実世界のシーンにおける未確認の新しい物体同士の意味的関係を予測できるか？
• RQ2 シミュレーションで訓練されたシーン現実性ディスクリミネータは、関係性予測のみに比べて、意味的配置計画の信頼性を向上させるか？
• RQ3 学習された関係性および現実性モデルに基づくプランナは、構造的でない環境における未確認の物体に対して、多様で実行可能な操作計画を生成できるか？
• RQ4 実世界での微調整なしに、未確認の物体や複雑なシーン幾何構造にどの程度一般化できるか？
• RQ5 実世界での展開において、学習された関係性予測の性能は、手動で設計されたルールベースのベースラインと比べてどうか？

主な発見

• 未確認の物体に対する計画では95％の成功率を達成し、グリップ成功率は75％、グリップ成功時の配置成功率は100％を記録した。
• 学習された関係性分類器は感度においてルールベースのベースラインを上回り、より多くの妥当な配置構成を正しく同定した。
• シーン現実性ディスクリミネータは計画の信頼性を顕著に向上させ、意味的予測のみではロバストな操作が不十分であることを示した。
• YCBデータセットやおもちゃキッチンの物体からなる未確認の物体に対しても一般化が可能であり、小型・大型の物体を含む挑戦的なケースに対しても対応できた。
• グリップ失敗が全体の失敗の主な原因であり、平均で56％のグリップ成功率であったため、グリップポリシーのロバスト性向上に余地があることが示された。
• 1回のシーンに対して複数の有効な解を計画に成功させ、多様性とさまざまなシーン幾何構造への適応性を示した。