[논문 리뷰] Deep Visuo-Tactile Learning: Estimation of Tactile Properties from Images

Kuniyuki Takahashi, Jethro Tan|arXiv (Cornell University)|2018. 03. 09.

Tactile and Sensory Interactions참고 문헌 29인용 수 5

한 줄 요약

이 논문은 RGB 이미지만을 사용하여 미끄러움과 거칠기와 같은 연속적인 촉각적 성질을 추정하는 딥 비주얼-촉각 학습 프레임워크를 제안한다. 비지도 학습을 위한 공동 시각-촉각 잠재 공간을 갖춘 자동에코더를 사용하며, 수동 레이블링 없이도 새로운 소재에 일반화되며, 샤펠 로봇에 장착된 웹캠과 uSkin 촉각 센서에서 수집한 실제 데이터를 통해 엔드 투 엔드 학습으로 정확한 추정을 달성한다.

ABSTRACT

Estimation of tactile properties from vision, such as slipperiness or roughness, is important to effectively interact with the environment. These tactile properties help us decide which actions we should choose and how to perform them. E.g., we can drive slower if we see that we have bad traction or grasp tighter if an item looks slippery. We believe that this ability also helps robots to enhance their understanding of the environment, and thus enables them to tailor their actions to the situation at hand. We therefore propose a model to estimate the degree of tactile properties from visual perception alone (e.g., the level of slipperiness or roughness). Our method extends a encoder-decoder network, in which the latent variables are visual and tactile features. In contrast to previous works, our method does not require manual labeling, but only RGB images and the corresponding tactile sensor data. All our data is collected with a webcam and uSkin tactile sensor mounted on the end-effector of a Sawyer robot, which strokes the surfaces of 25 different materials. We show that our model generalizes to materials not included in the training data by evaluating the feature space, indicating that it has learned to associate important tactile properties with images.

연구 동기 및 목표

• 로봇이 시각 입력만으로 미끄러움과 거칠기와 같은 촉각적 성질을 추정할 수 있도록 하여 환경 상호작용을 향상시키는 것.
• 광범위한 레이블링 데이터가 필요한 이산 분류 방법의 한계를 극복하고, 촉각적 성질의 연속적인 정도를 포착하지 못하는 문제를 해결하는 것.
• 수동으로 정의된 클래스 레이블에 의존하지 않고도 촉각적 성질의 정도를 포착하는 연속적이고 분리된 잠재 공간을 학습하는 것.
• 훈련 중에 RGB 이미지와 원시 촉각 센서 데이터만을 사용하여 모델을 훈련함으로써, 실시간 촉각 감지 없이도 시뮬레이션 또는 오프라인 환경에서의 구현을 가능하게 하는 것.
• 학습 중에 보이지 않은 신규 소재에 대한 일반화 능력을 입증하기 위해 학습된 잠재 공간의 구조를 분석하는 것.

제안 방법

• 시각적 및 촉각적 특징에 대해 공유 잠재 변수를 갖는 딥 인코더-디코더 네트워크를 제안하며, 쌍화된 RGB 이미지와 촉각 센서 시퀀스를 기반으로 엔드 투 엔드로 훈련한다.
• 이미지 입력을 위한 2D 컨볼루션 인코더와 시간 시리즈 촉각 데이터를 위한 3D 컨볼루션 인코더를 사용하며, 둘 다 공유된 연속 잠재 공간으로 투영된다.
• 시각적 및 촉각적 특징이 통합된 공유 잠재 공간을 활용하여, 촉각 레이블에 대한 명시적 지도 없이도 다중 모odal 표현을 학습할 수 있도록 한다.
• 모든 레이어에 배치 정규화와 ReLU/Tanh 활성화 함수를 적용하며, Adam 옵timizer와 평균 제곱 오차 손실을 사용하여 재구성 성능을 최적화한다.
• 샤펠 로봇에 장착된 웹캠과 uSkin 촉각 센서를 통해 수집한 데이터를 사용하여 훈련하며, 25종의 소재를 일정한 스트로킹 운동으로 촉각 측정을 수행한다.
• 훈련 후 실시간 촉각 입력이 필요 없는 시뮬레이션 또는 오프라인 환경에서도 추론이 가능해지며, 최종 모델이 실시간 촉각 입력을 요구하지 않는다.

실험 결과

연구 질문

• RQ1 딥 신경망은 수동 레이블링 없이도 RGB 이미지만으로 연속적인 촉각적 성질(예: 거칠기, 미끄러움)을 추정할 수 있는가?
• RQ2 학습 데이터에 포함되지 않은 소재에 대해 학습된 잠재 공간이 일반화되는가? 이는 촉각적 성질의 정도를 잘 포착하는 강건한 표현임을 시사한다.
• RQ3 연속적인 잠재 공간 모델의 성능은 이산 분류 기반 모델과 비교해 볼 때 촉각적 성질의 변동성을 얼마나 잘 포착하는가?
• RQ4 모델은 연속적이고 해석 가능한 잠재 공간에서 서로 다른 촉각적 성질(예: 마찰력, 질감)을 분리하여 표현할 수 있는가?
• RQ5 특히 외관은 유사하지만 촉각적 행동이 다른 소재에 대해, 시각 인식만으로도 촉각 피드백을 얼마나 정확히 예측할 수 있는가?

주요 결과

• 모델은 잠재 공간에서 새로운 소재에 대해 성공적으로 일반화되며, 유사한 소재들이 서로 뭉치고, 새로운 소재들은 촉각 유사도에 기반해 타당한 영역으로 매핑된다.
• 잠재 변수 $ z_2 $ 는 마찰 성질과 상관이 있다: 낮은 마찰성(예: 펌프 풍선과 같은 광택 있는 표면)을 가진 소재들은 낮은 $ z_2 $ 값으로 매핑되며, 이는 미끄러움의 정도를 학습한 표현임을 시사한다.
• 제안된 연속 잠재 공간 모델($ N_{\textsc{proposed}} $)은 이산 분류 모델($ N_{\textsc{classification}} $)보다 촉각적 성질의 정도를 더 효과적으로 포착한다. 이는 이산 모델이 연속적인 변화를 표현하지 못하기 때문이다.
• 분류 모델은 잠재 공간에서 명확히 분리된 클러스터를 생성하지만, 촉각적 성질의 정도를 표현하지 못하는 반면, 제안된 방법은 연속적 표현을 통해 이를 성공적으로 포착한다.
• 2차원 이미지에서 촉각적 성질을 정확하게 추정할 수는 있으나, 2차원 투영에서의 정보 손실로 인해 극단적인 촉각적 성질(예: 매우 높은 거칠기)을 가진 소재에 대해서는 한계가 존재한다.
• 분류 모델의 훈련 시간은 약 5분이었고, 제안된 방법은 클래스 레이블이 필요 없었으며 재훈련 없이도 뛰어난 일반화 성능을 달성했다.