[論文レビュー] Pregrasp Object Material Classification by a Novel Gripper Design with Integrated Spectroscopy

Nathaniel Hanson, Tarik Keleştemur+2 more|arXiv (Cornell University)|Jul 3, 2022

Advanced Chemical Sensor Technologies被引用数 5

ひとこと要約

本論文は、接触なしの事前 grasping 時の材料分類を可能にする、統合型可視近赤外線（VNIR）分光法および内視鏡画像を備えた新規な二指型ロボットグリッパーを提案する。スペクトルデータを用いた再帰的非線形SVMにより、視覚的に類似した32種類の果物を96.4%の正確さで区別する。これは、最先端のビジョン手法よりも29.4%高い性能であり、グリッパーが物体に近づくにつれて信頼性が向上する。

ABSTRACT

Robots benefit from being able to classify objects they interact with or manipulate based on their material properties. This capability ensures fine manipulation of complex objects through proper grasp pose and force selection. Prior work has focused on haptic or visual processing to determine material type at grasp time. In this work, we introduce a novel parallel robot gripper design and a method for collecting spectral readings and visual images from within the gripper finger. We train a nonlinear Support Vector Machine (SVM) that can classify the material of the object about to be grasped through recursive estimation, with increasing confidence as the distance from the finger tips to the object decreases. In order to validate the hardware design and classification method, we collect samples from 16 real and fake fruit varieties (composed of polystyrene/plastic) resulting in a dataset containing spectral curves, scene images, and high-resolution texture images as the objects are grasped, lifted, and released. Our modeling method demonstrates an accuracy of 96.4% in classifying objects in a 32 class decision problem. This represents a performance improvement by 29.4% over the state of the art computer vision algorithms at distinguishing between visually similar materials. In contrast to prior work, our recursive estimation model accounts for increasing spectral signal strength and allows for decisions to be made as the gripper approaches an object. We conclude that spectroscopy is a promising sensing modality for enabling robots to not only classify grasped objects but also understand their underlying material composition.

研究の動機と目的

• グリッパーの設計を進め、物体の把持前に接触なしでリアルタイムに材料を分類可能にする。
• 実物と偽物の果物のような視覚的に類似した材料を、触覚的接触なしで区別する課題に対処する。
• コンパクトなグリッパー内にVNIR分光法と高解像度画像を統合し、強固な材料センシングを実現する。
• グリッパーが物体に近づくにつれて、再帰的推定を用いて分類の信頼性を向上させる。
• 16種類の実物および偽物の果物を含む多様なデータセット（スペクトル、視覚、テクスチャデータ）を用いてシステムを検証する。

提案手法

• 300–1200 nmの埋め込みVNIR分光計と内視鏡カメラを備えた二指平行グリッパーを設計し、接近中におけるイン・サイトでのデータ収集を可能にする。
• グリッパーが物体に接近し、把持し、解放する過程で、スペクトル曲線（2048個の離散波長）と高解像度画像を収集する。
• スペクトルデータの次元削減を99.5%まで行い、分類に必要な主要なスペクトル特徴を保持するために非負値行列分解（NMF）を適用する。
• 次元削減されたスペクトルデータ上で非線形ラジアル基底関数（RBF）サポートベクターマシン（SVM）を学習させ、32クラスの材料を分類する。
• 各新しいスペクトルサンプルごとにクラス確率を更新する再帰的推定のための離散ベイズフィルタを実装し、時間経過とともに信頼性を高める。
• フルシーンおよび内視鏡画像を用いたビジョンベースのモデル（例：ResNet）と比較し、正確さ、F1スコア、推論速度を評価する。

実験結果

リサーチクエスチョン

• RQ1 統合型分光法を備えたグリッパーは、把持開始前に正確で接触なしの材料分類を可能にするか？
• RQ2 視覚的に類似した材料を区別する際、スペクトルベースの分類手法は、最先端のビジョンベース手法と比較してどのように差をつけるか？
• RQ3 逐次的なスペクトルサンプルを用いた再帰的推定は、分類の信頼性および正確さをどの程度向上させるか？
• RQ4 接近中に収集したスペクトルおよび視覚データのみを用いて、32種類の実物および偽物の果物材料を信頼性高く分類できるか？
• RQ5 スペクトルデータと画像のディープラーニングを比較した場合、モデルの正確さ、推論速度、計算コストのトレードオフはどのようなものか？

主な発見

• RBF-SVMモデルは、スペクトルデータを用いて32種類の視覚的に類似した果物を96.41%のテスト正確さで分類し、最高のビジョンベースモデル（内視鏡画像を用いた場合67.00%の正確さ）を大きく上回った。
• スペクトルベース手法は、最高性能を示したビジョンモデルよりも29.4%の正確さ向上を達成し、視覚的に曖昧な材料の区別において優れた性能を示した。
• 離散ベイズフィルタを用いた再帰的推定により分類の信頼性が向上し、1つの物体タイプについて3回の連続スペクトルサンプルで100%の正確さを達成した。
• RBF-SVMモデルの推論時間は0.00019秒（±0.00036）であり、リアルタイムのロボット制御に適しており、93.3 MBのResNetモデルと比較してメモリ使用量が45.8 KBにまで削減された。
• NMFによりスペクトルデータの入力次元を99.5%まで削減し、32種類の材料タイプにおけるクラス分離性を保持しながら効率的な処理を可能にした。
• システムは全32クラスで安定した性能を示し、個々のクラスの正確さは88%以上であった。誤分類は主にスペクトル信号が弱い初期接近段階に起因していた。