[論文レビュー] AU Dataset for Visuo-Haptic Object Recognition for Robots

Lasse Emil R. Bonner, Daniel Daugaard Buhl+2 more|arXiv (Cornell University)|Jan 1, 2021

Robot Manipulation and Learning被引用数 4

ひとこと要約

本論文は、視覚的および触覚的曖昧性を制御した63種類の物体からなる、視覚的、運動覚的、および振動ベースの触覚データを含むマルチモーダルデータセット、AUデータセットを紹介する。ロボットハンド（RH8D）と接触マイクロフォンを備えたNAOロボットを用いて収集されたこのデータセットは、現実的な知覚的課題に直面するロボットの物体認識におけるセンサーフュージョン研究を可能にする。

ABSTRACT

This directory contains the data, object list, thimble's 3D design and the technical report (Bonner2021AU.pdf) describing object exploration procedures, experimental set, folder structure, etc.<br><br><b>Citing this dataset:</b><br>Bonner, L. E. R., Buhl, D. D., Kristensen, K., &amp; Navarro-Guerrero, N. (2021). AU Dataset for Visuo-Haptic Object Recognition for Robots. figshare. https://doi.org/10.6084/m9.figshare.14222486<br><br><b>Related References:</b><br>Toprak, S., Navarro-Guerrero, N., &amp; Wermter, S. (2018). Evaluating Integration Strategies for Visuo-Haptic Object Recognition. Cognitive Computation, 10(3), 408–425. https://doi.org/10.1007/s12559-017-9536-7.<br><br><b>Contact:</b><br>For more information, please get in touch with Nicolás Navarro-Guerrero.

研究の動機と目的

• ロボティクス分野における視覚的・触覚的物体認識のための、公開可能で大規模なマルチモーダルデータセットの不足を解消すること。
• マルチモーダル統合技術の評価と挑戦を促す、制御された視覚的および触覚的曖昧性を有するデータセットの構築。
• ロボット知覚におけるセンサーフュージョンアルゴリズムのテストを可能にする標準化されたベンチマークの提供。
• ロボットハンドおよびアームに取り付けた接触マイクロフォンを用いて記録された振動信号を用いた、触覚知覚に関する研究の支援。

提案手法

• データ収集には、LedermanとKlatzkyの手法に従い、視覚走査、運動覚的持ち上げと包み込み、触覚的側面移動および圧力適用の手順を用いた。
• 人間サイズのロボットハンド（RH8D）が、関節電流（mA）および指の位置（度数）を用いて運動覚的データを記録し、ベースラインとして30mAを設定した。
• NAOロボットおよびRH8Dハンドに取り付けた5つのクリップオン接触マイクロフォンを用い、400kHzのサンプリングレートで触覚的探索に伴う振動を記録した。
• 視覚的データは、各物体に対して4枚の高解像度（4640×3472）の画像から構成され、3つの表面と1枚の背景画像（差し引き用）を含む。
• 信号処理におけるノイズ補償を可能にするために、各手順ごとに背景ノイズを記録した。
• 視覚的、運動覚的、および振動データは、各物体を3回再配置した際の整合性のある命名規則に従い、構造化されたCSVおよび画像ファイルに保存された。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダル統合戦略は、物体認識における視覚的および触覚的曖昧性をどの程度効果的に解消できるか？
• RQ2 接触マイクロフォンから得られる振動信号は、従来の触覚センサの代替として、物体知覚においてどの程度有効に機能するか？
• RQ3 関節電流および関節位置の運動覚的データは、制御されたロボット操作下で物体の重量および形状を信頼性高く推定できるか？
• RQ4 背景ノイズの記録が、触覚信号解析の耐障害性をどの程度向上させるか？
• RQ5 物体の内部材質（例：プレイドウ、塩、コーヒーの豆）が、触覚的知覚および分類に与える影響は何か？

主な発見

• 視覚的および触覚的曖昧性を有する63種類の物体がデータセットに含まれており、たとえばイエローボールとイエローレモン、あるいは異なる素材で満たされたベルベットの袋が含まれる。
• RH8Dハンドの電流（30mAベースライン）および指の位置（−180°〜180°）を用いた運動覚的データは、物体の重量および全体的な形状の推定を可能にする。
• NAOロボットによる側面移動および圧力適用による触覚的探索から、400kHzのサンプリングレートでmV単位の振動データが得られ、5つのマイクロフォンチャンネルにわたって記録された。
• 振動信号処理におけるノイズ差し引きを可能にするために、各手順ごとに背景ノイズが記録された。
• データセットは、60個の運動覚CSVファイル、30個の振動CSVファイル、189枚の視覚画像（63種の物体 × 3つの位置）から構成され、構造化されたフォルダ構成を有する。
• データセットはfigshareを通じて公開されており、DOI: 10.6084/m9.figshare.14222486 を介して、ロボット知覚分野における再現可能性の高い研究を支援する。