[論文レビュー] Programming by Demonstration with User-Specified Perceptual Landmarks

Justin Huang, Maya Çakmak|arXiv (Cornell University)|Dec 2, 2016

Robot Manipulation and Learning参考文献 22被引用数 3

ひとこと要約

本稿は、非エキスパートユーザーがポイントクラウドインターフェースを用いてカスタム3次元知覚ランドマークを定義できる、柔軟でユーザー主導のプログラミング・バイ・デモンストレーション（PbD）用知覚システムを提案する。ユーザーが指定したポイントクラウドパッチ（物体の一部、シーンの特徴、空の空間など）を捉えることで、空の空間制約を組み込んだ改良版ICPアルゴリズムを用いて、新しい環境においてもこれらのランドマークを安定して局在化可能となり、事前定義されたオブジェクトモデルやフィデューシャルを必要とせずに、多様でテーブルトップでない、ごみだらけのシーンにおいても操作タスクの一般化が著しく向上する。

ABSTRACT

Programming by demonstration (PbD) is an effective technique for developing complex robot manipulation tasks, such as opening bottles or using human tools. In order for such tasks to generalize to new scenes, the robot needs to be able to perceive objects, object parts, or other task-relevant parts of the scene. Previous work has relied on rigid, task-specific perception systems for this purpose. This paper presents a flexible and open-ended perception system that lets users specify perceptual "landmarks" during the demonstration, by capturing parts of the point cloud from the demonstration scene. We present a method for localizing landmarks in new scenes and experimentally evaluate this method in a variety of settings. Then, we provide examples where user-specified landmarks are used together with PbD on a PR2 robot to perform several complex manipulation tasks. Finally, we present findings from a user evaluation of our landmark specification interface demonstrating its feasibility as an end-user tool.

研究の動機と目的

• 既存のPbDフレームワークにおける、タスク固有で柔軟性に欠ける知覚システムの制限を克服し、ランドマークの種別やテーブルトップまたは散らかっていないシーンへの一般化に制限を受けるのを防ぐ。
• CADモデルやフィデューシャルを必要とせず、オブジェクトの一部、シーンの特徴、または空の空間といったタスク関連の知覚ランドマークをエンドユーザーが定義できるようにする。
• 新しい未確認のシーンにおいても、ユーザーが定義したランドマークを安定して局在化できる知覚システムを開発する。特に、ごみだらけの環境や非標準的な環境でも有効であることを目的とする。
• 初心者ユーザーが現実の操作タスクにおいて、ランドマーク定義インターフェースを実際に使用する可能性を評価する。
• カスタムランドマークが、例えば棚からの取り出しや道具の使用といった複雑な操作タスクを、標準的なテーブルトップ設定を超えて一般化可能であることを示す。

提案手法

• ユーザーは、ロボットのセンサデータから関心領域を選択できる6方向の3次元バウンディングボックスインターフェースを用いて、3次元ポイントクラウドパッチを捕捉することでカスタムランドマークを定義する。
• ランドマークは、周囲の空の空間（ネガティブスペース）を明示的にモデル化した3次元ポイントクラウドとして表現され、ユニーク性と局在化の安定性が向上する。
• 表面幾何学的特徴と空の空間の両方を考慮した改良版反復一致点（ICP）アルゴリズムを用いて、ユーザーが定義したランドマークポイントクラウドを新しいシーンの候補領域に登録する。
• アルゴリズムは反復的な最近接点マッチングを実行しながら、表面幾何学的特徴と期待される空の空間の両方における誤一致をペナルティ化することで、曖昧またはごみだらけのシーンでも識別能が向上する。
• エンドエフェクタの姿勢を局在化されたランドマークに対して記録するPbDパイプラインと統合し、新しい環境でもタスク実行を可能にする。
• 非エキスパートユーザーを対象とした使いやすさの研究を実施し、ランドマーク定義に要する時間と、定性的なフィードバックによるインターフェースの限界を特定する。

実験結果

リサーチクエスチョン

• RQ1 ユーザーがポイントクラウドパッチを介して指定した知覚ランドマークが、表面幾何学的特徴と空の空間の両方を考慮した知覚アルゴリズムによって、新しい未確認のシーンにおいて信頼性高く局在化可能か？
• RQ2 固定された事前定義された知覚システムと比較して、カスタムランドマークが、テーブルトップでない、ごみだらけの、あるいは非標準的な環境において、PbDベースの操作タスクの一般化をどの程度向上させるか？
• RQ3 非エキスパートユーザーが現実のPbDシナリオにおいてランドマーク定義インターフェースを実際に使用する際の実用性はどの程度か。また、タスク関連のランドマーク作成中にどのような使いやすさの課題が生じるか？
• RQ4 カスタムランドマークは、どのような点で、タスク固有の知覚コードやフィデューシャルマーカーに依存していた操作タスクを可能にするか？
• RQ5 センサの視界制限、遮蔽、ランドマークのユニークネスの欠如が、ランドマークの局在化とタスク実行の安定性にどのように影響を及えるか？

主な発見

• 本システムは、テーブルトップでない環境（棚、ドア、ごみだらけのシーンなど）を含む多様な環境において16のテストシナリオのうち14で、ユーザーが指定したランドマークを正常に局在化した。
• ランドマーク表現における空の空間のモデリングの追加により、曖昧またはごみだらけのシーンにおける局在化精度が著しく向上し、誤検出が減少した。
• 使いやすさの研究では、初心者ユーザーが平均1分11秒（標準偏差42秒）で実用的なランドマークを定義でき、全参加者が少なくとも1つのタスクを正常に完了した。
• 失敗事例の主な原因はセンサの制限（例：斜めの表面からの部分的な深度データ）やランドマークの曖昧さ（例：平らな表面が空の領域と誤認）に起因しており、システムがランドマークの特徴の明確さに依存していることが示された。
• 棚からのボウルの取り出し、吊り下げられた道具の使用、類似した容器とのごみ箱の区別といったタスクが、カスタムランドマークを用いて正常に実行された。これは、テーブルトップを越えた一般化が可能であることを示している。
• バウンディングボックスインターフェースは機能的ではあったが、改善の余地があると指摘された。ユーザーは、認知的負荷を軽減するための個別な移動操作コントロールや、自動的な初期推定機能の追加を要望していた。