[論文レビュー] Grasp-type Recognition Leveraging Object Affordance

Naoki Wake, Kazuhiro Sasabuchi+1 more|arXiv (Cornell University)|Aug 26, 2020

Robot Manipulation and Learning参考文献 18被引用数 8

ひとこと要約

本稿では、物体名の言語的入力を用いて導出される物体固有のグリップアフォーダンスと畳み込みニューラルネットワーク（CNN）を組み合わせることで、1枚のRGB画像からのグリップタイプ認識のハイブリッドアプローチを提案する。各物体の可能性のあるグリップタイプに関する事前知識を活用することで、CNN単体またはアフォーダンス単体のベースラインを上回る認識精度を実現し、ロボット教育の場面における言語駆動型アフォーダンスモデリングの価値を示している。

ABSTRACT

A key challenge in robot teaching is grasp-type recognition with a single RGB image and a target object name. Here, we propose a simple yet effective pipeline to enhance learning-based recognition by leveraging a prior distribution of grasp types for each object. In the pipeline, a convolutional neural network (CNN) recognizes the grasp type from an RGB image. The recognition result is further corrected using the prior distribution (i.e., affordance), which is associated with the target object name. Experimental results showed that the proposed method outperforms both a CNN-only and an affordance-only method. The results highlight the effectiveness of linguistically-driven object affordance for enhancing grasp-type recognition in robot teaching.

研究の動機と目的

• 1枚のRGB画像と物体名を用いたロボット教育におけるグリップタイプ認識の課題に取り組む。
• 純粋なディープラーニングや事前知識のみに依存するのではなく、認識精度を向上させる。
• 言語的入力（物体名）と視覚特徴を統合し、グリップのための物体アフォーダンスをモデリングする。
• 実世界のロボット教育アプリケーションに向けた実用的なパイプラインを開発する。

提案手法

• CNNがRGB画像を処理し、初期のグリップタイプを予測する。
• 各物体の一般的なグリップタイプに関する事前知識に基づき、物体固有のグリップアフォーダンスを事前に計算する。
• 対象の物体名に関連するグリップタイプの学習済み事前分布を用いて、CNNの予測を精緻化する。
• 視覚特徴と言語駆動型アフォーダンス事前分布の統合が、最終的なグリップタイプ分類の精度向上に寄与する。
• 本手法は、対応する物体名とグリップアノテーションが付与されたRGB画像のデータセット上で訓練および評価される。
• 有効性を検証するため、CNN単体およびアフォーダンス単体のベースラインと比較して評価される。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングと物体固有のグリップアフォーダンスを組み合わせることで、グリップタイプ認識の精度が向上するか？
• RQ2 言語的入力（物体名）は、CNNのグリップタイプ予測の精緻化にどの程度効果的か？
• RQ3 一般的なグリップタイプの事前知識を統合することで、視覚特徴に依存するのみの状況と比較して、認識誤りが減少するか？
• RQ4 実世界のロボット教育シナリオにおいて、アフォーダンス事前分布を用いることでどの程度の性能向上が得られるか？

主な発見

• 提案手法は、CNN単体およびアフォーダンス単体のベースラインを上回るグリップタイプ認識精度を達成した。
• 物体固有のアフォーダンスの統合は、特にレアまたは曖昧なグリップタイプにおいて顕著な認識性能の向上をもたらした。
• 言語的駆動型アフォーダンスモデリングは、物体とハンドの相互作用に関する事前知識を活用することで、予測誤差を効果的に低減した。
• 本手法は、最小限の入力（RGB画像 + 物体名）で実現可能なため、実世界のロボット教育環境においても頑健性と実用性を示した。