[論文レビュー] Where2Explore: Few-shot Affordance Learning for Unseen Novel Categories of Articulated Objects

Chuanruo Ning, Ruihai Wu+3 more|arXiv (Cornell University)|Sep 14, 2023

Robot Manipulation and Learning被引用数 6

ひとこと要約

この論文では、カテゴリ間の幾何的類似性を活用することで、未確認のアーティキュレーテッドオブジェクトのカテゴリを効率的に探索・操作できる、少サンプルのアフォーダンス学習フレームワークであるWhere2Exploreを提案する。類似度ネットワークを用いて低類似度・高不確実性領域を特定することで、最小限で的を射た対話によって、同じカテゴリの新しいインスタンスへの迅速な一般化を可能にし、全データ学習と同等の性能を、データの0.3%のみで達成する。

ABSTRACT

Articulated object manipulation is a fundamental yet challenging task in robotics. Due to significant geometric and semantic variations across object categories, previous manipulation models struggle to generalize to novel categories. Few-shot learning is a promising solution for alleviating this issue by allowing robots to perform a few interactions with unseen objects. However, extant approaches often necessitate costly and inefficient test-time interactions with each unseen instance. Recognizing this limitation, we observe that despite their distinct shapes, different categories often share similar local geometries essential for manipulation, such as pullable handles and graspable edges - a factor typically underutilized in previous few-shot learning works. To harness this commonality, we introduce 'Where2Explore', an affordance learning framework that effectively explores novel categories with minimal interactions on a limited number of instances. Our framework explicitly estimates the geometric similarity across different categories, identifying local areas that differ from shapes in the training categories for efficient exploration while concurrently transferring affordance knowledge to similar parts of the objects. Extensive experiments in simulated and real-world environments demonstrate our framework's capacity for efficient few-shot exploration and generalization.

研究の動機と目的

• 未確認のアーティキュレーテッドオブジェクトのカテゴリに一般化するロボット操作ポリシーを、最小限の現実世界での相互作用で達成すること。
• 個体レベルの少サンプル学習が、テスト時における個別オブジェクトの相互作用を必要とする非効率性を克服すること。
• 異なるオブジェクトカテゴリ間で共有される局所的幾何構造（例：ハンドル、エッジ）を活用して、カテゴリ間の一般化を向上させること。
• 未確認のオブジェクト上で不確実性が高く、意味的に重要な領域を優先する探索戦略を開発すること。
• 少数の相互作用のみで、未確認のインスタンスを含む新しいカテゴリにおいて、強力な一般化性能を達成すること。

提案手法

• フレームワークは、既知のオブジェクトカテゴリからの詳細な意味的・幾何的事前知識を、ポイントレベルのアフォーダンス表現で符号化する。
• クロスカテゴリの監視戦略を用いて、分割された訓練データ上で、新規オブジェクト部品と既知のカテゴリ間の幾何的類似度を測定する類似度ネットワークを訓練する。
• 新規オブジェクト上での低類似度領域を、対話の優先領域として特定し、不確実性は高いが、操作に重要な特徴である可能性があることを示す。
• これらの領域での少数の相互作用に基づく微調整により、少サンプルの適応を実現し、同じカテゴリの未確認インスタンスへの転移を可能にする。
• 幾何的類似度とアフォーダンス予測を統合したフレームワークにより、効率的かつカテゴリ間の少サンプル学習を実現する。
• 限られた相互作用予算（例：5回）を想定し、シミュレート環境および現実世界環境でアプローチを評価する。

実験結果

リサーチクエスチョン

• RQ1 異なるオブジェクトカテゴリ間の幾何的類似性を活用することで、未確認のカテゴリに対する効率的な探索を可能にすることができるか？
• RQ2 少数の相互作用のみで、少サンプル学習フレームワークが、未確認のインスタンスにアフォーダンス知識を一般化できるか？
• RQ3 カテゴリ間で共通する局所的幾何的特徴（例：ハンドル、エッジ）を活用することで、ランダムまたは類似度に基づかない戦略に比べ、探索効率と一般化性能が向上するか？
• RQ4 少数の既知のカテゴリで学習したモデルが、完全に新しいカテゴリに対して、最小限の現実世界での相互作用で良好な性能を発揮できるか？

主な発見

• 5回の相互作用予算で、未確認のマグのインスタンスに対して39.5%の成功率を達成し、ベースライン手法（No-explore：12.1%、Explore-random：21.6%）を著しく上回った。
• 新しいカテゴリにおける引き抜きアフォーダンスタスクで41.6%のFスコアを達成し、最良のベースライン（Explore-noSim：30.2%）を上回った。
• 押すタスクでは、Where2Exploreが35.4%のFスコアを達成したのに対し、No-exploreは20.6%、Explore-randomは28.8%であった。
• 全訓練データの0.3%しか使用しなかったにもかかわらず、Where2ExploreはFull-dataベースライン（47.9 Fスコア）に近い性能を達成し、高いデータ効率を示した。
• 定性的な結果から、類似度モジュールが不確実性が高いが重要な領域（例：ジョイントの限界、新しいハンドル）を的確に特定できており、現実世界のマグに対しても効果的な探索を可能にした。
• 探索後、同じ新しいカテゴリの未確認オブジェクトに対しても一般化が可能であることが確認され、初期の相互作用セットを超えた知識の転送能力を示した。