[論文レビュー] A soft thumb-sized vision-based sensor with accurate all-round force perception

Huanbo Sun, Katherine J. Kuchenbecker+1 more|arXiv (Cornell University)|Nov 10, 2021

Tactile and Sensory Interactions被引用数 9

ひとこと要約

本論文では、1台の単眼カメラを用いて、360度の3次元力の感知を可能にするソフトで指サイズの視覚ベースの触覚センサ「Insight」を提案する。コリメーターを介して光度ステレオ法と構造化照明を組み合わせることで、1枚のエラストマー層上の3次元表面変形を捉え、深層ニューラルネットワークが空間分解能0.4 mm、力の大きさの精度0.03 N（0.03–2 Nの力範囲内）で法線力およびせん断力を推定する。

ABSTRACT

Vision-based haptic sensors have emerged as a promising approach to robotic touch due to affordable high-resolution cameras and successful computer-vision techniques. However, their physical design and the information they provide do not yet meet the requirements of real applications. We present a robust, soft, low-cost, vision-based, thumb-sized 3D haptic sensor named Insight: it continually provides a directional force-distribution map over its entire conical sensing surface. Constructed around an internal monocular camera, the sensor has only a single layer of elastomer over-molded on a stiff frame to guarantee sensitivity, robustness, and soft contact. Furthermore, Insight is the first system to combine photometric stereo and structured light using a collimator to detect the 3D deformation of its easily replaceable flexible outer shell. The force information is inferred by a deep neural network that maps images to the spatial distribution of 3D contact force (normal and shear). Insight has an overall spatial resolution of 0.4 mm, force magnitude accuracy around 0.03 N, and force direction accuracy around 5 degrees over a range of 0.03--2 N for numerous distinct contacts with varying contact area. The presented hardware and software design concepts can be transferred to a wide variety of robot parts.

研究の動機と目的

• 実世界のロボット操作に適した、頑丈でソフトでコンactな3次元触覚センサの開発。
• 破損しやすく、大型で、力の方向の精度が低い既存の視覚ベースのセンサの限界を克服すること。
• 1台のカメラとシンプルな機械的設計でのみ、正確な360度の3次元力の感知を実現すること。
• 複雑なキャリブレーションを回避し、材料の非線形性に対処できるデータ駆動型、機械学習ベースのアプローチを提供すること。
• 繊密な操作と長期使用に適した、高い空間分解能と力の精度を持つセンサの開発。

提案手法

• ソフトな接触、耐久性、感度を確保するため、剛性フレーム上に一様に成形された1層のエラストマーを使用。
• センサ内部の単眼カメラが、光度ステレオ（影付け）と構造化された色付き照明の両方を用いて、変形した表面の画像を捉える。
• コリメーターを用いて、円すい型のセンシング表面全体に均一に構造化照明を照射し、3次元変形検出を向上させる。
• 画像入力（撮影画像と基準画像の差分、およびスケルトンマスク）を空間力分布にマップする深層ニューラルネットワークを採用。
• さまざまな力と接触領域をカバーする11万2千件の接触サンプルから自動収集された大規模データセットを用いてネットワークを学習。
• 入力には、画像の差分（撮影画像から基準画像を引いたもの）とスケルトンマスクを含め、ネットワークが剛性領域を識別し、力の低減推定を是正するのを支援する。

実験結果

リサーチクエスチョン

• RQ1 1層構造のソフトで視覚ベースのセンサが、その円すい型表面全体で高精度な3次元力の感知を達成できるか？
• RQ2 単眼カメラ1台で、光度ステレオ法と構造化照明を組み合わせることで、3次元変形推定がどのように向上するか？
• RQ3 手作業によるキャリブレーションを一切行わない深層学習モデルが、力の大きさと方向（法線力およびせん断力）をどれほど正確に推定できるか？
• RQ4 ネットワーク入力にスケルトンマスクを含めることで、特に剛性領域における力推定の精度がどのように向上するか？
• RQ5 実世界のロボットアプリケーションにおいて、信頼性のある力予測性能を達成するために必要な最小データセットサイズはどの程度か？

主な発見

• Insightは、力の局在化に0.4 mmの空間分解能を達成し、GelTip（5 mm分解能）など既存の視覚ベースのセンサを大きく上回る。
• 0.03–2 Nの力範囲で、力の大きさの精度は約0.03 N、力の方向の精度は約5度を達成。
• ネットワーク入力にスケルトンマスクを含めることで、特に剛性領域における力の低減推定が軽減され、全体の精度が向上。
• グレースケールではなく色分けされた構造化照明を使用することで力の精度が向上し、色の手がかりが3次元変形推定を強化していることが示唆された。
• アブレーションスタディの結果、全訓練データの20–40％のみを用いてもモデルの性能が著しく維持されることが判明し、優れたデータ効率性を示した。
• 本センサは、これまでの視覚ベースの触覚センサの中で最もコンactであり、同等のシステムと比較して最大の面積体積比（A/V比）を達成しており、小型のロボット部品への統合が可能である。