[論文レビュー] GelSight Wedge: Measuring High-Resolution 3D Contact Geometry with a Compact Robot Finger

Shaoxiong Wang, Yu She+2 more|arXiv (Cornell University)|Jun 16, 2021

Tactile and Sensory Interactions参考文献 27被引用数 6

ひとこと要約

本論文では、1〜3本の方向性光源を用いたphotometric stereoにより、正確な3次元接触幾何再構成を可能にする、ロボットの指に適したコンパクトで高分解能の3次元タクトイルセンサー「GelSight Wedge」を提案する。30枚のキャリブレーション画像のみで高精細な3次元再構成を達成し、遮蔽環境下でも再構成された点群を用いたICPによるリアルタイムのポーズ追跡を実現する。

ABSTRACT

Vision-based tactile sensors have the potential to provide important contact geometry to localize the objective with visual occlusion. However, it is challenging to measure high-resolution 3D contact geometry for a compact robot finger, to simultaneously meet optical and mechanical constraints. In this work, we present the GelSight Wedge sensor, which is optimized to have a compact shape for robot fingers, while achieving high-resolution 3D reconstruction. We evaluate the 3D reconstruction under different lighting configurations, and extend the method from 3 lights to 1 or 2 lights. We demonstrate the flexibility of the design by shrinking the sensor to the size of a human finger for fine manipulation tasks. We also show the effectiveness and potential of the reconstructed 3D geometry for pose tracking in the 3D space.

研究の動機と目的

• 光学的および機械的制約下でも高分解能の3次元接触幾何再構成を維持できる、コンパクトでロボット指に適合するタクトイルセンサーの開発。
• 繊細な操作や狭い空間での作業に適した、薄型でスリムなフォームファクタに最適化されたセンサー設計の最適化。
• 1〜3本の光源を用いた異なる照明設定（単一光源を含む）における3次元再構成の忠実度を評価・比較すること。
• 再構成された3次元幾何形状を用いた、ICPを用いた3次元空間におけるポーズ追跡の有効性の実証。
• マークや変形が信号品質に影響を与える場合でも、再構成遅延を最小限に抑えてリアルタイムフィードバック制御を可能にすること。

提案手法

• GelSight Wedgeは、3方向にレンズレスLEDアレイを配置した、4.5 mm 厚の楔型アクリルハウジングを採用し、photometric stereo用の方向性照明を提供する。
• 反射性シリコーンペイントとカラーグラデーションマッピングを用いて、多方向照明からの表面法線推定を実現し、Poisson統合を用いて高分解能の3次元再構成を達成する。
• 物理的フィルタと計算的手法（例：最近傍法を用いたグリッドベースの勾配補間）を組み合わせ、マークや欠落した勾配に起因するアーチファクトを低減する。
• 単一光源での動作では、10,000枚の合成画像でトレーニングされたU-Netニューラルネットワークを用いて勾配推定を向上させ、実データへの依存度を低減する。
• 再構成された3次元点群を用い、反復最近傍点（ICP）アルゴリズムを適用して、立方体などの物体のリアルタイム3次元ポーズ追跡を実現する。
• 本設計はスケーラブルである：センサーは人間の指のサイズまで小型化可能であり、再構成品質を維持している。

実験結果

リサーチクエスチョン

• RQ1 コンパクトで指サイズのタクトイルセンサーは、より大きなGelSightシステムと同等の高分解能の3次元接触幾何再構成を達成できるか？
• RQ2 光学的制約が強いコンパクトな設計において、光源数（1、2、3本）の違いが3次元再構成の忠実度に与える影響は何か？
• RQ3 実世界のキャリブレーションデータを大量に必要とせずに、単一光源設定における欠落した勾配情報の補完をニューラルネットワークが行えるか？
• RQ4 触覚からのみ得られる再構成された3次元幾何形状は、どの程度の精度で遮蔽環境下の物体の3次元ポーズを追跡可能か？
• RQ5 ゲル変形、影、マークなどのセンサーのアーチファクトが再構成品質に与える影響は何か？また、それらを低減する計算手法は何か？

主な発見

• GelSight Wedgeは、従来のニューラルネットワークベースの手法と比較して、実データのキャリブレーション画像をわずか30枚で高精細な3次元再構成を達成している。
• 照明設定の好ましい順序は：RGB（3光源）＞RG（2本で直交する光源）＞RB（2本で向かい合う光源）＞R（1光源）であり、3光源設定が最も正確な勾配をもたらす。
• 10,000枚の合成画像でトレーニングされたU-Netは、単一光源での勾配推定を向上させ、最小限の実データで使用可能な3次元再構成を可能にした。
• マークに影響を受ける勾配の補間に最近傍法を用いることで、10 ms 以内に再構成アーチファクトを低減し、リアルタイムフィードバック制御を実現した。
• センサーは人間の指のサイズまで小型化可能であり、高分解能の3次元再構成を維持しているため、繊細な操作タスクへの応用が可能である。
• 再構成された3次元点群を用いたICPによるポーズ追跡は、約10 Hzの更新レートを達成し、さまざまな方向を向いた立方体のポーズを触覚のみで正確に追跡した。