[論文レビュー] Tactile Object Pose Estimation from the First Touch with Geometric Contact Rendering

Maria Bauzá Villalonga, Eric Valls+3 more|arXiv (Cornell University)|Dec 9, 2020

Tactile and Sensory Interactions被引用数 38

ひとこと要約

論文は、シミュレーション学習済みの物体特異的知覚モデルによって、実物接触の形状と事前に計算されたシミュレーション接触形状の dense セットを物体姿勢グリッドに照合し、単一の触覚印象から6Dの物体姿勢を推定し、姿勢分布と複数接触の拡張を得る。

ABSTRACT

In this paper, we present an approach to tactile pose estimation from the first touch for known objects. First, we create an object-agnostic map from real tactile observations to contact shapes. Next, for a new object with known geometry, we learn a tailored perception model completely in simulation. To do so, we simulate the contact shapes that a dense set of object poses would produce on the sensor. Then, given a new contact shape obtained from the sensor output, we match it against the pre-computed set using the object-specific embedding learned purely in simulation using contrastive learning. This results in a perception model that can localize objects from a single tactile observation. It also allows reasoning over pose distributions and including additional pose constraints coming from other perception systems or multiple contacts. We provide quantitative results for four objects. Our approach provides high accuracy pose estimations from distinctive tactile observations while regressing pose distributions to account for those contact shapes that could result from different object poses. We further extend and test our approach in multi-contact scenarios where several tactile sensors are simultaneously in contact with the object. Website: http://mcube.mit.edu/research/tactile_loc_first_touch.html

研究の動機と目的

• 最初の触覚接触から既知の3D物体の姿勢を推定する枠組みを開発する。
• 単一点推定ではなく姿勢分布の推論を可能にする。
• 接触形状を姿勢確率に対応させる物体特異的知覚モデルを学習するためにシミュレーションを活用する。
• 複数接触シナリオをサポートし、他のセンサや priors からの追加姿勢制約の統合を可能にする。

提案手法

• 200x200 RGB触覚画像を深度接触形状画像へ写像するニューラルネットワークを用いて触覚画像から接触形状を予測する。
• 3Dオブジェクトモデルと仮想センサー環境を用いた幾何学的接触レンダリングによってシミュレートされた接触形状をレンダリングする。
• 密な物体特異的接触姿勢のグリッドと対応する接触形状を作成する。
• 対比学習（修正MoCo）を用いて物体特異的埋め込みを訓練し、グリッド内の接触形状を姿勢確率へマッピングする。
• 新しい接触形状を低次元埋め込みにエンコードし、行列ベクトル積を介して姿勢グリッド全体の尤度を計算し、そこからソフトマックスを適用して姿勢分布を得る。
• グリッド分解能を超えた整合性を改善するため、点群登録法（FilterReg）で上位の姿勢仮説を refine する。
• 確率的乗積モデルの下で複数の触覚観測からの姿勢尤度を結合することにより、複数接触設定へフレームワークを拡張する。

実験結果

リサーチクエスチョン

• RQ1 シミュレーション学習済みの物体特異的知覚モデルを用いて、最初の触覚接触から既知の物体の姿勢を高精度に推定できるか。
• RQ2 実際の触覚接触形状を、事前計算された密なシミュレート接触形状セットと一致させることは、信頼できる姿勢尤度と分布を生み出すか。
• RQ3 複数接触観測を取り入れることは、姿勢推定の精度と不確実性にどう影響するか。
• RQ4 他の知覚系や事前情報からの姿勢制約を姿勢推定フレームワークに統合できるか。

主な発見

• このアプローチは、複数の物体について最初の接触から正確な姿勢推定を得るとともに、接触形状の非一意性を反映した姿勢分布を示す。
• 密な物体特異的グリッド（物体ごとに 5k–20k の姿勢）と学習済み埋め込みを組み合わせることで、1つの行列ベクトル積による効率的な尤度計算を可能にする。
• FilterReg を用いた上位の姿勢仮説の洗練は、実現可能な場合に推定を改善する。
• 複数接触の証拠は、運動学のみのアプローチと比較して姿勢不確実性を低減する。
• 本手法は姿勢精度の有意な改善を示し、非一意な接触状況で多峰分布を捉える。