[論文レビュー] Object affordance as a guide for grasp-type recognition.

Naoki Wake, Daichi Saito+3 more|arXiv (Cornell University)|Feb 27, 2021

Robot Manipulation and Learning参考文献 46被引用数 4

ひとこと要約

本稿では、物体のアフォーダンス（物体ごとの一般的な把持タイプに関する事前知識）を、畳み込みニューラルネットワーク（CNN）ベースの把持タイプ認識のガイドとして使用することを提案する。不適切な把持候補をフィルタリングし、有望なものを強調することで、特に把持タイプの多様性が高く、実物または錯視的物体による視覚的曖昧性が生じる状況下でも認識精度が向上した。

ABSTRACT

Recognizing human grasping strategies is an important factor in robot teaching as these strategies contain the implicit knowledge necessary to perform a series of manipulations smoothly. This study analyzed the effects of object affordance-a prior distribution of grasp types for each object-on convolutional neural network (CNN)-based grasp-type recognition. To this end, we created datasets of first-person grasping-hand images labeled with grasp types and object names, and tested a recognition pipeline leveraging object affordance. We evaluated scenarios with real and illusory objects to be grasped, to consider a teaching condition in mixed reality where the lack of visual object information can make the CNN recognition challenging. The results show that object affordance guided the CNN in both scenarios, increasing the accuracy by 1) excluding unlikely grasp types from the candidates and 2) likely grasp types. In addition, the enhancing effect was more pronounced with high degrees of grasp-type heterogeneity. These results indicate the effectiveness of object affordance for guiding grasp-type recognition in robot teaching applications.

研究の動機と目的

• 物体のアフォーダンスを事前知識として活用することで、ロボットの教育における把持タイプ認識を向上させること。
• 混合現実環境など、視覚的情報が欠落または曖昧な状況における把持認識の課題に対処すること。
• 実物および錯視的物体の両方の状況下で、物体のアフォーダンスがCNNベースの把持認識に与える影響を評価すること。
• 把持タイプの多様性が、アフォーダンスガイド付き認識の有効性に与える影響を調査すること。

提案手法

• 把持タイプおよび物体名をラベル付けした第一人称視点の把持画像データセットを収集した。
• 収集した画像データを用いて、CNNによる把持タイプ認識の訓練を行った。
• 物体ごとの把持の可能性を事前に把握した上で、CNNの出力候補をフィルタリングすることで、物体のアフォーダンスを統合した。
• 混合現実教育環境を模倣するため、実物および視覚的ヒントのない錯視的物体を用いてシステムを評価した。
• 推論時に、不適切な把持タイプを除外し、有望なものを優先する目的でアフォーダンスを活用した。
• 把持タイプの多様性の度合いが異なる状況下で、アフォーダンスガイドありとなしの認識精度を比較した。

実験結果

リサーチクエスチョン

• RQ1 物体のアフォーダンスは、CNNベースのシステムにおける把持タイプ認識精度にどのように影響するか？
• RQ2 視覚的情報が欠落または曖昧な状況下でも、物体のアフォーダンスは認識性能を向上させることができるか？
• RQ3 物体ごとの把持タイプの多様性の程度に応じて、アフォーダンスガイドの有効性は変化するか？
• RQ4 認識プロセスにおいて、アフォーダンスは可能な把持タイプの探索空間をどの程度縮小するか？

主な発見

• アフォーダンスにより、不適切な把持タイプを候補集合から除外することで、物体のアフォーダンスは著しく認識精度を向上させた。
• アフォーダンスの統合により、有望な把持タイプを強調することで認識性能が向上し、特に複雑な状況下で顕著であった。
• 把持タイプの多様性が高い物体では、性能向上が顕著に現れ、複雑な認識タスクにおける利点が顕著に示された。
• 視覚的情報が欠落している状況、たとえば錯視的物体の状況でも、本手法は有効であった。これは、混合現実教育環境における頑健性を示している。