[논문 리뷰] Visuo-Tactile Transformers for Manipulation

Yizhou Chen, Andrea Sipos외 2명|arXiv (Cornell University)|2022. 09. 30.

Tactile and Sensory Interactions인용 수 4

한 줄 요약

이 논문은 시각과 촉각 피드백을 함께 처리하기 위해 비전 트랜스포머(Vision Transformer)를 확장한 다중모달 표현 학습 프레임워크인 비주얼-촉각 트랜스포머(Visuo-Tactile Transformers, VTT)를 제안한다. VTT는 교차모달 어텐션을 사용하여 공간적으로 인지 가능한 잠재 히트맵을 학습하며, 이는 시뮬레이션 및 실제 로봇 조작 작업에서 샘플 효율성과 성능을 향상시킨다. 이는 시뮬레이션 및 실제 블록 밀기 작업 모두에서 기준 모델들을 능가한다.

ABSTRACT

Learning representations in the joint domain of vision and touch can improve manipulation dexterity, robustness, and sample-complexity by exploiting mutual information and complementary cues. Here, we present Visuo-Tactile Transformers (VTTs), a novel multimodal representation learning approach suited for model-based reinforcement learning and planning. Our approach extends the Visual Transformer \cite{dosovitskiy2021image} to handle visuo-tactile feedback. Specifically, VTT uses tactile feedback together with self and cross-modal attention to build latent heatmap representations that focus attention on important task features in the visual domain. We demonstrate the efficacy of VTT for representation learning with a comparative evaluation against baselines on four simulated robot tasks and one real world block pushing task. We conduct an ablation study over the components of VTT to highlight the importance of cross-modality in representation learning.

연구 동기 및 목표

• 시각과 촉각 피드백의 통합을 통해 간결하고 정보가 풍부한 잠재 표현을 학습하여 로봇 조작 능력을 향상시키기 위해.
• 벡터 기반의 잠재 표현이 공간적 세부 정보와 국소적인 작업 관련 특징을 포착하는 데 한계가 있음을 해결하기 위해.
• 교차모달 어텐션을 활용하여 모델 기반 강화학습에서 샘플 효율성과 정책 성능을 향상시키기 위해.
• 촉각 신호에 의해 유도되는 작업 관련 시각적 특징에 대한 공간적으로 인지 가능한 어텐션을 통해 더 견고하고 안정적인 정책 학습을 가능하게 하기 위해.

제안 방법

• 비전 트랜스포머(ViT) 아키텍처를 확장하여 모odal별 패치 기반 처리와 임bedding을 통해 촉각 피드백을 통합한다.
• 시각 및 촉각 모달 내에서의 자기어텐션과 두 모달 간의 교차모달 어텐션을 사용하여 공간 분포형 잠재 표현을 구축한다.
• 학습된 접촉, 정렬 및 위치 임베딩을 통합하여 다중모달 추론과 특징 정렬을 향상시킨다.
• 잠재 벡터 차원을 압축하여 효율성과 성능 최적화를 도모한다.
• 시각 및 촉각 입력에 대해 예측 및 재구성 손실을 적용하고, 작업별 보상까지 함께 사용하여 표현 학습을 지도한다.
• 공간적으로 기반을 둔 어텐션 맵을 가진 다중헤드 어텐션 메커니즘을 적용하여 촉각 피드백에 기반해 관련 시각 영역을 강조한다.

실험 결과

연구 질문

• RQ1 시각과 촉각 간의 교차모달 어텐션은 로봇 조작을 위한 표현 품질을 향상시키는가?
• RQ2 다중모달 잠재 공간에서의 공간적으로 인지 가능한 어텐션은 강화학습에서 샘플 효율성과 작업 성능에 어떤 영향을 미치는가?
• RQ3 비전 트랜스포머 아키텍처에 촉각 피드백을 통합하면, 벡터 기반 융합 방법에 비해 더 나은 일반화 및 견고성을 달성하는가?
• RQ4 접촉 및 정렬 손실은 효과적인 시각-촉각 표현 학습에 어떤 기여를 하는가?
• RQ5 VTT는 접촉이 풍부한 상호작용을 포함하는 실제 세계의 로봇 조작 작업에 얼마나 잘 일반화되는가?

주요 결과

• 시뮬레이션 작업에서 VTT는 연결(concatenation) 및 제품의 전문가(PoE) 융합 기준 모델들을 능가하여 더 높은 성공률과 더 빠른 학습 수렴을 달성했다.
• 실제 블록 밀기 작업에서 VTT는 더 높은 성공률을 기록했고, 기준 방법들에 비해 뛰어난 샘플 효율성을 보였다.
• ablative 연구 결과, 접촉 또는 정렬 손실을 제거할 경우 성능 저하가 발생하여, 효과적인 다중모달 표현 학습에 이들이 필수적임을 확인했다.
• 최적의 잠재 벡터 압축 요소는 c=12로, 표현 능력과 학습 효율성 사이의 균형을 잘 맞추는 것으로 밝혀졌다.
• 어텐션 히트맵 분석 결과, VTT는 접촉 단계에서 특히 로봇, 물체, 목표 지점에 동적으로 초점을 맞추며 효과적인 공간 정렬을 보였다. 이는 촉각 피드백에 의해 유도된 효과적인 공간 정위치를 나타낸다.
• 물체가 시각적 영역에서 로봇으로부터 멀리 떨어져 있어도, 모델은 작업 관련 특징을 성공적으로 정위치했으며, 이는 견고한 공간 추론 능력을 보여준다.