[論文レビュー] 3D Shape Reconstruction from Vision and Touch

Edward J. Smith, Roberto Calandra+5 more|arXiv (Cornell University)|Jul 7, 2020

Robot Manipulation and Learning参考文献 70被引用数 24

ひとこと要約

本稿では、ロボットのインタラクションから得られるRGBビジョンとシミュレートされたタクトイル信号を統合することで、3Dオブジェクトモデリングを向上させるチャートベースの3D形状再構成手法を提案する。グラフ畳み込みネットワーク（GCNs）を活用して、高分解能の局所的タッチデータとグローバルなビジョンコンテキストを統合することで、単一モodalなベースラインに比べて優れた再構成品質を達成し、より多くのグリップが追加されるほど性能が向上し、接触領域だけでなく周辺領域の再構成も向上させる。

ABSTRACT

When a toddler is presented a new toy, their instinctual behaviour is to pick it upand inspect it with their hand and eyes in tandem, clearly searching over its surface to properly understand what they are playing with. At any instance here, touch provides high fidelity localized information while vision provides complementary global context. However, in 3D shape reconstruction, the complementary fusion of visual and haptic modalities remains largely unexplored. In this paper, we study this problem and present an effective chart-based approach to multi-modal shape understanding which encourages a similar fusion vision and touch information.To do so, we introduce a dataset of simulated touch and vision signals from the interaction between a robotic hand and a large array of 3D objects. Our results show that (1) leveraging both vision and touch signals consistently improves single-modality baselines; (2) our approach outperforms alternative modality fusion methods and strongly benefits from the proposed chart-based structure; (3) there construction quality increases with the number of grasps provided; and (4) the touch information not only enhances the reconstruction at the touch site but also extrapolates to its local neighborhood.

研究の動機と目的

• 人間の乳児のマルチモーダルオブジェクトインスペクションを模倣し、3D形状再構成におけるビジョンとタッチの統合がまだ十分に検討されていないという点に取り組む。
• グローバルなビジョンコンテキストと高分解能の局所的タクトイル情報の有効な統合を可能にする手法を開発し、3D再構成の忠実度を向上させること。
• RGBとタクトイル信号が同期されたロボットハンド-オブジェクトインタラクションのリアルなシミュレーションデータセットを導入し、ベンチマーク用とする。
• タッチが接触点だけでなく、その周辺領域の再構成にも寄与するかどうかを評価すること。

提案手法

• 本手法は、視覚とタクトイルモダリティごとに別々に予測される、不連続なメッシュ表面要素（チャート）を用いたチャートベースの表現を採用する。
• RGB画像からのビジョン信号は、畳み込みニューラルネットワーク（CNN）エンコーダーを経てマルチスケール特徴量が抽出され、その後、GCNを用いたチャート変形に頂点特徴量と統合される。
• タクトイル信号は、DIGITに類似したセンサーモデルを用いてシミュレートされ、グリップポイントでの高分解能の局所的形状データを提供する。
• 「穴埋め」再構成戦略により、タクトイルチャートがグローバルビジョンチャートの予測をガイドし、表面の完成度を向上させる。
• グラフ畳み込みネットワーク（GCNs）を変形されたチャートに適用し、メッシュ表面全体にわたり形状予測を伝搬・精錬する。
• 予測された3D形状と真値との差を最小化する再構成損失を用いて、エンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 ビジョンとタッチ信号の統合は、単一モダリティ手法に比べて、3D形状再構成を顕著に改善するか？
• RQ2 提案されたチャートベースのアーキテクチャは、ビジョン（グローバルコンテキスト）とタッチ（局所的忠実性）の補完的特長を効果的に活用できるか？
• RQ3 グリップの数が再構成品質に与える影響は何か？また、タッチは直近の接触点を越えて一般化を向上させるか？
• RQ4 タクトイル信号は、接触領域だけでなく、その周囲の局所的近傍領域の再構成を向上させることができるか？
• RQ5 再構成精度とロバスト性の観点から、提案手法は他の統合戦略と比較して優れているか？

主な発見

• ビジョンとタッチの両方を活用することで、単一モダリティのベースラインに比べて一貫して再構成精度が向上し、マルチモーダルモデルはビジョンオンリーおよびタッチオンリーのアプローチを上回る性能を示す。
• 提案されたチャートベースの統合手法は、他の統合戦略を上回り、マルチモーダル信号統合におけるアーキテクチャ設計の有効性を示している。
• グリップの数が増えるほど再構成品質が向上し、追加のタクトイル信号が幾何的制約として貴重であることが示された。
• タッチ情報は接触点での再構成を向上させるだけでなく、周囲の局所的近傍領域の誤差も低減しており、タクトイル忠実性の空間的伝搬が示唆される。
• 本モデルはタッチポイントでより高い局所的精度を達成し、グローバルな表面完成度も向上させ、ビジョンとタッチの補完的性質が3D理解において有効であることを裏付けている。