[論文レビュー] Transfer of Tool Affordance and Manipulation Cues with 3D Vision Data

Paulo Abelha, Frank Guérin|arXiv (Cornell University)|Oct 13, 2017

Robot Manipulation and Learning参考文献 25被引用数 9

ひとこと要約

本論文では、3次元ビジョンデータを用いてタスク固有の目的を候補となるツールに投影することで、ツールの機能的適性と操作のヒントを転送するタスク指向のシステムを提案する。これにより、ロボットは効果的な代替ツールや最適な把持・使用の配置を特定できる。本手法は、ツールの性質を学習的に転送することで上位のタスク関数と下位の幾何的特徴解析を統合し、91%の正確性を達成し、先行研究を著しく上回る。

ABSTRACT

Future service robots working in human environments, such as kitchens, will face situations where they need to improvise. The usual tool for a given task might not be available and the robot will have to use some substitute tool. The robot needs to select an appropriate alternative tool from the candidates available, and also needs to know where to grasp it, how to orient it and what part to use as the end-effector. We present a system which takes as input a candidate tool's point cloud and weight, and outputs a score for how effective that tool is for a task, and how to use it. Our key novelty is in taking a task-driven approach, where the task exerts a top-down influence on how low level vision data is interpreted. This facilitates the type of 'everyday creativity' where an object such as a wine bottle could be used as a rolling pin, because the interpretation of the object is not fixed in advance, but rather results from the interaction between the bottom-up and top-down pressures at run-time. The top-down influence is implemented by transfer: prior knowledge of geometric features that make a tool good for a task is used to seek similar features in a candidate tool. The prior knowledge is learned by simulating Web models performing the tasks. We evaluate on a set of fifty household objects and five tasks. We compare our system with the closest one in the literature and show that we achieve significantly better results

研究の動機と目的

• 標準的なツールが利用できない状況において、サービスロボットが人間の環境でツールの代替的使用を可能にすること。
• 上位のタスク目標と下位の3次元視覚特徴を組み合わせることで、クラス内ばらつきとクラス間のツール転送を解決すること。
• 候補ツールのタスク適合性をスコア化し、把持および向きの戦略を提示する、柔軟でリアルタイムなシステムを開発すること。
• 純粋に下位のアフォーダンス認識の限界を克服するため、'投影'によるタスク指向の解釈を導入すること。
• 実世界の家庭用物品およびタスクを対象にシステムを評価し、既存手法を上回る性能を示すこと。

提案手法

• システムは、候補ツールの3次元点群と重量データを入力として、平らな面、エッジ、凹形状などの幾何的特徴を計算する。
• タスク固有の目的（例：転がす、持ち上げる）をツールの特徴にマッピングする'投影'技術を適用し、どの部分が把持点や作業点として機能するかを解釈する。
• シミュレートされたWebモデルがタスクを実行する様子から学習されたタスク関数を用い、データへの適合性とタスクの関連性の両面から最適な候補を特定する。
• 適合スコア（特徴が期待されるツールの幾何形状にどれほど適合するか）とタスク関数値（ツールがタスクをどれほど効果的に支援するか）のバランスを取ることで、最終的な効果性スコアを計算する。
• 複数の可能性のある把持方法および向きの組み合わせを探索し、与えられたタスクに対して最も高いスコアを持つものを選択する。
• アブレーションスタディにより、適合スコアとタスク関数値の両方が不可欠であることが確認され、最適なバランスが91%の正確性をもたらす。

実験結果

リサーチクエスチョン

• RQ1 標準ツールが利用できない状況において、ロボットはどのように効果的な代替ツールを特定できるか？
• RQ2 上位のタスク目標は、下位の3次元視覚特徴の解釈をどれほど効果的に導けるか？
• RQ3 学習されたタスク関数は、実世界の状況において適切なツールと操作戦略の選択をどのように改善できるか？
• RQ4 幾何的適合性とタスク関連性の統合は、ツールの代替タスクにおける性能にどのように影響するか？
• RQ5 適合性とタスク関数のコンポーネントのバランスが、全体のシステム正確性に与える影響は何か？

主な発見

• 本システムは、効果的な代替ツールの選択において91%の成功率を達成し、最も近いベースライン手法を著しく上回る。
• アブレーションスタディにより、適合スコアとタスク関数値のバランスが最適化されると、91%の正確性が得られ、バランスが取れていない場合（85%）に比べて顕著に優れている。
• タスク指向の'投影'の統合により、クラス間の効果的なツール転送が可能となり、例えばワインボトルをローリングピンとして使用することが可能になる。
• 本手法は、事前に定義されたカテゴリに依存せず、機能的類似性に基づいて新しいツール形状を解釈することで、クラス内ばらつきを効果的に処理する。
• 学習されたタスク関数は、多数の解釈候補の中から最適な選択を導く柔軟な推論を可能にする上で不可欠である。
• 上位のタスク目標と下位の3次元特徴解析を組み合わせることで、制約のない環境でも堅牢かつリアルタイムなツールの代替が可能であることが示された。