[논문 리뷰] Connecting Touch and Vision via Cross-Modal Prediction

Yunzhu Li, Jun-Yan Zhu외 2명|arXiv (Cornell University)|2019. 06. 14.

Tactile and Sensory Interactions참고 문헌 50인용 수 10

한 줄 요약

이 논문은 시각 입력에서 실감 나는 觸覚 신호를 생성하고 그 반대로도 가능하게 하는 조건부 적대적 네트워크를 사용한 cross-modal 예측 프레임워크를 제안한다. 이 네트워크는 척도와 위치 조건을 부여하여 시각과 觸覚 간의 척도 격차를 해결한다. 주요 기여는 풀리 스노어비드된 베이스라인과 유사한 성능을 달성하는 self-supervised 방법을 개발한 것으로, 300만 개의 시각-촉각 쌍으로 구성된 대규모 로봇 수집 데이터셋을 바탕으로 인간의 인지 평가 및 정량적 지표를 통해 검증되었다.

ABSTRACT

Humans perceive the world using multi-modal sensory inputs such as vision, audition, and touch. In this work, we investigate the cross-modal connection between vision and touch. The main challenge in this cross-domain modeling task lies in the significant scale discrepancy between the two: while our eyes perceive an entire visual scene at once, humans can only feel a small region of an object at any given moment. To connect vision and touch, we introduce new tasks of synthesizing plausible tactile signals from visual inputs as well as imagining how we interact with objects given tactile data as input. To accomplish our goals, we first equip robots with both visual and tactile sensors and collect a large-scale dataset of corresponding vision and tactile image sequences. To close the scale gap, we present a new conditional adversarial model that incorporates the scale and location information of the touch. Human perceptual studies demonstrate that our model can produce realistic visual images from tactile data and vice versa. Finally, we present both qualitative and quantitative experimental results regarding different system designs, as well as visualizing the learned representations of our model.

연구 동기 및 목표

• 비전(전경 인지)과 촉각(국소적 감지) 간의 상당한 척도 격차를 cross-modal 학습에서 해소하기 위해.
• 사람의 레이블 없이도 zero-shot cross-modal 생성을 가능하게 하여, 비전으로부터 촉각을 예측하고 촉각으로부터 비전을 예측하기 위해.
• 고주파성, 저다양성의 촉각 데이터에도 불구하고 GAN 학습에서 모드 붕괴를 방지하는 강건한 생성 모델 개발을 위해.
• 인간 연구 및 정량적 지표를 통해 생성된 출력의 현실감과 인지적 타당성을 검증하기 위해.
• 비전과 촉각 모odal 간에 학습된 공유 표현을 시각화하고 해석하기 위해.

제안 방법

• GelSight 촉각 센서와 웹캠을 장착한 로봇 시스템이 195개의 물체를 대상으로 12,000회의 촉각 상호작용을 수행하여 300만 개의 비전-촉각 이미지 쌍을 생성한다.
• 비전과 촉각 간의 척도 격차를 해결하기 위해 촉각의 척도와 공간적 위치에 명시적인 조건을 적용한 조건부 적대적 네트워크를 설계한다.
• 평탄하고 무늬가 없는 촉각 영역의 지배로 인해 흔히 발생하는 모드 붕괴를 완화하기 위해 데이터 재균형 전략을 적용한다.
• 두 가지 작업에서 모델을 훈련한다: (1) 비전-촉각 예측(비전 입력에서 타당한 촉각 신호 생성), (2) 촉각-비전 예측(촉각 입력에서 시각적 장면 생성).
• 인지 평가는 Amazon Mechanical Turk 연구를 통해 수행되며, 인간 참가자들이 생성된 촉각 위치가 참값과 유사한지 여부 또는 생성된 이미지가 진짜인지 가짜인지 판단한다.
• 특징 시각화를 통해 모델의 내부 표현을 해석하여, 가장자리 및 표면 특성과 같은 기하학적 단서에 민감하게 반응하는 것을 확인한다.

실험 결과

연구 질문

• RQ1 비전과 촉각 간의 큰 공간적 척도 격차에도 불구하고, self-supervised 모델이 비전 입력에서 실감 나는 촉각 신호를 생성할 수 있는가?
• RQ2 촉각 입력만으로도 성능이 supervised 방법과 유사한 타당한 시각적 장면을 예측할 수 있는가?
• RQ3 촉각 위치와 척도에 대한 조건부 처리가 비전-촉각 예측의 품질을 어떻게 향상시키는가?
• RQ4 zero-shot cross-modal 생성에서 모델이 새로운 물체에 얼마나 잘 일반화되는가?
• RQ5 정확한 cross-modal 전이를 가능하게 하는 공유된 물리적 표현은 어떤 형태인가?

주요 결과

• 본 연구에서 제안한 방법은 본인 물체에 대해 인간 인지 평가에서 '유사하게 느껴진다'는 평가에 89.20%의 정확도를 달성하였고, 새로운 물체에 대해서는 83.44%를 기록하여 pix2pix 및 그 시간적 변형 베이스라인을 뛰어넘었다.
• 생성된 이미지가 진짜인지 가짜인지 식별하는 실험에서, 본인 물체에 대해 30.50%의 오도율을 기록하였고, 새로운 물체에 대해서는 24.22%를 기록하여 강력한 인지적 현실감을 보였으며, 이는 pix2pix가 모드 붕괴로 인해 더 높은 원시 점수를 기록한 점을 감안할 때 의미 있는 성과이다.
• self-supervised 방법은 인간 레이블이 1,000개 포함된 풀리 스노어비드된 베이스라인과 유사한 성능을 보이며, 이 작업에서 self-supervised 학습의 효과를 입증하였다.
• 표준 GAN이 저다양성의 촉각 입력에서 반복적으로 동일한 출력을 생성하는 것과는 달리, 데이터 재균형을 통해 모델은 모드 붕괴를 성공적으로 방지하였다.
• 학습된 표현의 시각화 결과, 가장자리 및 표면 특성과 같은 기하학적 단서를 인코딩하는 것을 확인하였으며, 이는 cross-modal 정렬에 핵심적인 역할을 한다.
• 시간적 모델링은 비전-촉각 예측 성능을 향상시키지만, 촉각-비전 결과에는 일관되게 향상되지 않으며, 이는 데이터셋에 오직 물체에 촉각이 닿는 쌍만 포함되어 있기 때문일 것이다.