[論文レビュー] GelSight Fin Ray: Incorporating Tactile Sensing into a Soft Compliant Robotic Gripper

Sandra Q. Liu, Edward H. Adelson|arXiv (Cornell University)|Apr 14, 2022

Advanced Sensor and Energy Harvesting Materials被引用数 5

ひとこと要約

本論文では、埋め込み型ビジョンセンサーを用いた高分解能タクトイルセンシングを組み込んだ柔軟なフィンレイト指を備えた、新しいソフトロボットグリッパー「GelSight Fin Ray」を提案する。タクトイル再構成、物体の姿勢推定、マーカー追跡を統合することで、外部の視覚システムを用いずに、ワイングラスを正しい姿勢に再配置するというタスクを、タクトイルフィードバックのみで成功裏に実行した。これは、非構造的環境下での強化された操作能力を示している。

ABSTRACT

To adapt to constantly changing environments and be safe for human interaction, robots should have compliant and soft characteristics as well as the ability to sense the world around them. Even so, the incorporation of tactile sensing into a soft compliant robot, like the Fin Ray finger, is difficult due to its deformable structure. Not only does the frame need to be modified to allow room for a vision sensor, which enables intricate tactile sensing, the robot must also retain its original mechanically compliant properties. However, adding high-resolution tactile sensors to soft fingers is difficult since many sensorized fingers, such as GelSight-based ones, are rigid and function under the assumption that changes in the sensing region are only from tactile contact and not from finger compliance. A sensorized soft robotic finger needs to be able to separate its overall proprioceptive changes from its tactile information. To this end, this paper introduces the novel design of a GelSight Fin Ray, which embodies both the ability to passively adapt to any object it grasps and the ability to perform high-resolution tactile reconstruction, object orientation estimation, and marker tracking for shear and torsional forces. Having these capabilities allow soft and compliant robots to perform more manipulation tasks that require sensing. One such task the finger is able to perform successfully is a kitchen task: wine glass reorientation and placement, which is difficult to do with external vision sensors but is easy with tactile sensing. The development of this sensing technology could also potentially be applied to other soft compliant grippers, increasing their viability in many different fields.

研究の動機と目的

• タクトイルフィードバックを必要とする複雑な操作タスク（例：壊れやすい物体の再配置）を実行できるソフトロボットグリッパーの実現を目的とする。
• 機械的柔軟性を損なわずに、変形しやすい柔軟なロボット指に高分解能タクトイルセンサーを統合する課題に対処することを目的とする。
• ソフトロボットシステムにおいて、自己認識的変形とタクトイル接触情報を分離し、正確な状態推定を実現することを目的とする。
• 内部センサーからのフィードバックのみを用いて、物体の姿勢推定とスリップ検出が可能なタクトイルセンシングシステムの開発を目的とする。
• 外部の視覚システムを用いずに、現実世界のタスク（例：ワイングラスの再配置）においてタクトイルのみの操作が可能であることを実証することを目的とする。

提案手法

• 3Dプリントされたフィンレイト指構造内に埋め込み型ビジョンセンサーを内蔵した、柔軟で細長いGelSightセンサーを設計する。
• 表面の変形を捉えるために、マーカーを埋め込んだ透明なシリコーンパッドを用い、高分解能のタクトイル再構成を実現する。
• シリコーン表面のマーカーの変位を分析することで、物体の姿勢推定およびせん断力・ねじり力の推定にマーカー追跡アルゴリズムを採用する。
• 変形したシリコーンパッドの生画像データから、未キャリブレーションの3次元表面マップを生成するためのタクトイル再構成アルゴリズムを適用する。
• タクトイルフィードバックのみを用いた閉ループ操作が可能なロボットシステムに、センサード指を統合する。
• キッチンタスクを通じてシステムを検証：外部視覚システムを一切使用せず、透明なワイングラスを正しい姿勢に再配置する。

実験結果

リサーチクエスチョン

• RQ1 埋め込み型ビジョンベースのタクトイルセンシングを備えた柔軟で柔軟なロボット指は、物体の形状や表面特徴を正確に再構成できるか？
• RQ2 変形可能なセンサーからのタクトイルフィードバックのみを用いて、物体の姿勢を信頼性高く推定でき、スリップやねじり力も検出できるか？
• RQ3 外部視覚システムを一切使用せず、タクトイルのみのシステムが、ワイングラスの再配置といった複雑な操作タスクを成功裏に実行できるか？
• RQ4 センサーのノイズや変形が生じる状況下で、タクトイル再構成とマーカー追跡の性能はどのように比較されるか？
• RQ5 接触力や物体の形状の変化が生じる状況下でも、タクトイルセンシングシステムがどれほど頑健に保たれるか？

主な発見

• GelSight Fin Rayは、外部の視覚システムを一切使用せず、タクトイルフィードバックのみで透明なワイングラスを正しい姿勢に再配置し、タクトイルのみの操作の可能性を実証した。
• マーカー追跡アルゴリズムは、タクトイル再構成アルゴリズムよりも優れた耐性を示し、わずかな接触でのみ動作し、ノイズに対してより敏感でなかった。
• 指のストレムの主要軸に沿ったマーカーの変位を検出することで、正確な物体の姿勢推定が達成された。
• タクトイル再構成により、未キャリブレーションの3次元表面マップが生成され、ミルクジャーキーの文字など物体の特徴が可視化されたが、高さマップはキャリブレーションされていなかった。
• 非常に小さな物体や重い物体では、シリコーンパッドの変形が不十分なため、再構成と姿勢推定に困難をきたした。
• 今後の改善策として、ニューラルネットワークの統合を予定しており、再構成の正確性を向上させ、基準画像との照合依存性を低減できると期待される。