[논문 리뷰] Connecting Look and Feel: Associating the visual and tactile properties of physical materials

Wenzhen Yuan, Shaoxiong Wang외 2명|arXiv (Cornell University)|2017. 04. 12.

Tactile and Sensory Interactions참고 문헌 21인용 수 13

한 줄 요약

이 논문은 시각(색상 및 깊이 영상)과 촉각(GelSight 센서) 데이터를 동시에 학습함으로써 옷감에 대한 공유 임bedding 벡터를 학습하는 다중모달 딥러닝 프레임워크를 제안한다. 이는 옷감의 물리적 특성을 정확하게 다중모달 예측을 가능하게 한다. 주요 기여는 촉각 데이터를 함께 학습함으로써 시각 매칭 성능이 크게 향상되며, 이는 시각 데이터만으로 테스트할 때에도 성립함을 보여주며, 촉각 입력이 물질 이해를 위한 시각 표현 학습을 향상시킴을 시사한다.

ABSTRACT

For machines to interact with the physical world, they must understand the physical properties of objects and materials they encounter. We use fabrics as an example of a deformable material with a rich set of mechanical properties. A thin flexible fabric, when draped, tends to look different from a heavy stiff fabric. It also feels different when touched. Using a collection of 118 fabric sample, we captured color and depth images of draped fabrics along with tactile data from a high resolution touch sensor. We then sought to associate the information from vision and touch by jointly training CNNs across the three modalities. Through the CNN, each input, regardless of the modality, generates an embedding vector that records the fabric's physical property. By comparing the embeddings, our system is able to look at a fabric image and predict how it will feel, and vice versa. We also show that a system jointly trained on vision and touch data can outperform a similar system trained only on visual data when tested purely with visual inputs.

연구 동기 및 목표

• 기계가 시각적 및 촉각적 인식을 연계함으로써 물리적 재질 특성을 이해할 수 있도록 유도하기 위해.
• 동일한 옷감에 대한 시각적 신호와 촉각적 신호가 근본적인 물리적 매개변수를 반영하여 가까이 위치하는 공유 임bedding 공간을 학습하기 위해.
• 촉각 데이터가 시각적 표현 학습을 통한 재질 인식에 기여하는지 조사하기 위해.
• 데이터 증강, 접힌 부분에 대한 촉각, 인간이 분류한 클러스터가 임bedding 품질에 미치는 영향을 평가하기 위해.
• 다중모달 학습이 단일모달 시각 학습보다 우수한 성능을 보이는지 증명하기 위해.

제안 방법

• 시스템은 색상 영상, 깊이 영상, GelSight 촉각 영상 각각을 처리하기 위해 독립적인 세 개의 CNN(에일렉산드라넷 기반)을 사용하며, 각각 4096차원의 임bedding 벡터를 생성한다.
• 다중모달 손실 함수는 동일한 옷감에 대한 세 모달리티 간 임bedding 간 L2 거리의 합을 최소화한다: $ D_3 = \|\mathbf{E}_1 - \mathbf{E}_2\| + \|\mathbf{E}_1 - \mathbf{E}_3\| + \|\mathbf{E}_3 - \mathbf{E}_2\| $.
• 네트워크는 118종의 옷감 샘플에서 학습되며, 각 샘플은 드레이프드 상태의 색상/깊이 영상과 접힌 영역에서 촬영한 다수의 GelSight 촉각 영상으로 구성된다.
• 색상 영상에 대해 감마 보정(0.5–2.0) 및 RGB 채널 재배열을 통한 데이터 증강을 적용하여 내성성 향상.
• 시각 매칭을 위한 기준 모델로 시아네스 신경망(SNN)을 사용하며, 깊이 및 GelSight 입력을 모두 사용한 다중모달 네트워크와 성능 비교.
• 인간이 분류한 옷감 클러스터를 보조 지도로 사용하여 네트워크가 더 의미 있는 임bedding 표현을 학습하도록 유도.

실험 결과

연구 질문

• RQ1 딥 네트워크는 시각적 및 촉각적 모달리티로부터 옷감의 물리적 특성을 반영하는 공유 임bedding 공간을 학습할 수 있는가?
• RQ2 촉각 데이터를 통합함으로써, 시각 입력만으로 테스트할 경우에도 시각적 재질 인식 작업의 성능이 향상되는가?
• RQ3 압박을 가한 부분 촉각, 다수의 촉각 입력, 인간이 분류한 클러스터와 같은 요소들이 학습된 임bedding의 품질에 어떤 영향을 미치는가?
• RQ4 시각 입력에 대한 데이터 증강이 다중모달 매칭에서 일반화 능력을 얼마나 향상시키는가?
• RQ5 시각과 촉각을 동시에 학습하는 것이 단일모달 학습보다 새로운 옷감에 대해 더 우수한 일반화 성능을 보이는가?

주요 결과

• 공유 다중모달 네트워크는 깊이 영상 매칭에서 단일모달 시아네스 네트워크(SNN)보다 성능이 뛰어나며, 동일한 테스트 세트에서 상위 1위 정밀도 0.608을 기록한 반면 SNN는 0.482를 기록했다.
• 새로운 옷감에 대해 테스트한 결과, 공동 학습 모델은 상위 1위 정밀도 0.606을 기록하여 단일모달 SNN의 0.554보다 유의미하게 높은 성능을 보였다.
• 색상 영상에 대한 데이터 증강은 깊이-색상 매칭에서 상위 1위 정밀도를 0.4329에서 0.4674로 향상시켜 내성성 향상을 시사했다.
• 각 옷감당 세 개의 GelSight 영상을 사용하는 멀티입력 네트워크는 가장 정확한 클러스터링 성능을 보였으며, 얇고 딱딱한 브로드클로스와 같은 유사한 옷감 간 혼동을 줄였다.
• 평평한 표면이 아닌 접힌 부분을 촉각함으로써 더 풍부한 기계적 피드백을 제공하여 더 나은 임bedding 표현을 도출했다.
• 인간이 분류한 클러스터는 특히 경도와 두께의 미세한 차이가 나는 옷감에 대해 더 구분력 있는 임bedding을 학습하는 데 도움을 주었다.