[論文レビュー] Visuo-Tactile Transformers for Manipulation

Yizhou Chen, Andrea Sipos+2 more|arXiv (Cornell University)|Sep 30, 2022

Tactile and Sensory Interactions被引用数 4

ひとこと要約

本論文は、視覚的および触覚的フィードバックを組み合わせて処理するためのクロスモodal注意を用いた、視覚変換器（ViT）を拡張したマルチモーダル表現学習フレームワーク、Visuo-Tactile Transformers（VTT）を提案する。VTTは空間的に注意を向ける潜在ヒートマップを学習し、シミュレーテッドおよび現実世界のロボット操作タスクにおけるサンプル効率と性能を向上させる。シミュレーテッドおよび現実世界のブロックプッシュタスクにおいて、ベースラインを上回る性能を発揮した。

ABSTRACT

Learning representations in the joint domain of vision and touch can improve manipulation dexterity, robustness, and sample-complexity by exploiting mutual information and complementary cues. Here, we present Visuo-Tactile Transformers (VTTs), a novel multimodal representation learning approach suited for model-based reinforcement learning and planning. Our approach extends the Visual Transformer \cite{dosovitskiy2021image} to handle visuo-tactile feedback. Specifically, VTT uses tactile feedback together with self and cross-modal attention to build latent heatmap representations that focus attention on important task features in the visual domain. We demonstrate the efficacy of VTT for representation learning with a comparative evaluation against baselines on four simulated robot tasks and one real world block pushing task. We conduct an ablation study over the components of VTT to highlight the importance of cross-modality in representation learning.

研究の動機と目的

• 視覚的および触覚的フィードバックの統合からのコンactで情報豊かな潜在表現を学習することで、ロボット操作の性能を向上させること。
• ベクトルベースの潜在表現が空間的詳細や局所的なタスク関連特徴を捉えることの制限を解決すること。
• クロスモーダルアテンションを活用することで、モデルベース強化学習におけるサンプル効率とポリシー性能を向上させること。
• 触覚信号によって誘導されるタスク関連視覚特徴に対する空間的に注意を向けることで、より強固で安定したポリシー学習を可能にすること。

提案手法

• 視覚変換器（ViT）アーキテクチャを拡張し、モダリティ固有のパッチングと埋め込みを用いて触覚フィードバックを統合する。
• 視覚的および触覚的モダリティ内での自己アテンションと、両者の間のクロスモーダルアテンションを用いて、空間的に分散された潜在表現を構築する。
• 学習可能な接触、アライメント、位置埋め込みを組み込み、マルチモーダル推論と特徴のアライメントを向上させる。
• 潜在ベクトルの次元を圧縮するための圧縮ヘッドを適用し、効率性と性能を最適化する。
• 視覚的および触覚的入力に対する予測損失と再構成損失に加え、タスク固有の報酬を用いて表現学習を教師する。
• 空間的に根拠を持つアテンションマップを有するマルチヘッドアテンション機構を用い、触覚フィードバックに基づいて関連のある視覚領域を強調する。

実験結果

リサーチクエスチョン

• RQ1 視覚と触覚の間のクロスモーダルアテンションが、ロボット操作のための表現品質を向上させることができるか？
• RQ2 マルチモーダル潜在空間における空間的に注意を向けるアテンションが、強化学習におけるサンプル効率とタスクパフォーマンスに与える影響は何か？
• RQ3 視覚変換器アーキテクチャに触覚フィードバックを統合することで、ベクトルベースの統合手法と比較して、より優れた一般化性能とロバストネスを達成できるか？
• RQ4 接触損失およびアライメント損失は、効果的な視覚・触覚表現の学習にどのように寄与するか？
• RQ5 VTTは、接触が豊富な相互作用を伴う現実世界のロボット操作タスクにどの程度一般化可能か？

主な発見

• シミュレーテッドタスクにおいて、VTTは連結法およびProduct of Experts（PoE）統合ベースラインを上回り、より高い成功確率と高速な学習収束を達成した。
• 現実世界のブロックプッシュタスクにおいて、VTTは高い成功確率を達成し、ベースライン手法と比較して優れたサンプル効率を示した。
• アブレーションスタディの結果、接触損失またはアライメント損失を除去すると性能が低下し、これらが効果的なマルチモーダル表現学習に重要であることが確認された。
• 最適な潜在ベクトル圧縮係数は c=12 であることが判明し、表現能力と学習効率のバランスが取れていた。
• アテンションヒートマップの分析から、VTTは接触フェーズ中に特にロボット、物体、目的地に動的に注目していることが明らかになった。これは、触覚フィードバックに従った効果的な空間的局在化を示している。
• 物体が視覚フィールドでロボットから離れていても、タスク関連特徴を正しく局在化できており、強力な空間的推論能力を示している。