[논문 리뷰] Spatio-temporal Attention Model for Tactile Texture Recognition

Guanqun Cao, Yi Zhou외 2명|arXiv (Cornell University)|2020. 08. 10.

Tactile and Sensory Interactions참고 문헌 33인용 수 4

한 줄 요약

이 논문은 촉각 시퀀스에서 주목할 만한 공간적 영역과 시간적으로 관련된 접촉 사건에 동적으로 초점을 맞추는 새로운 스페로-타임 어텐션 모델(STAM)을 제안한다. 공간적 및 시간적 어텐션 메커니즘을 통합함으로써 STAM은 비어텐션 기반 모델 대비 최대 18.8%의 정확도 향상을 이룩했으며, 접촉 전 데이터에 노이즈가 포함된 경우에도 높은 강건성을 보이며, CNN 기반 모델 대비 평균 15.23%의 정확도 향상을 달성했다.

ABSTRACT

Recently, tactile sensing has attracted great interest in robotics, especially for facilitating exploration of unstructured environments and effective manipulation. A detailed understanding of the surface textures via tactile sensing is essential for many of these tasks. Previous works on texture recognition using camera based tactile sensors have been limited to treating all regions in one tactile image or all samples in one tactile sequence equally, which includes much irrelevant or redundant information. In this paper, we propose a novel Spatio-Temporal Attention Model (STAM) for tactile texture recognition, which is the very first of its kind to our best knowledge. The proposed STAM pays attention to both spatial focus of each single tactile texture and the temporal correlation of a tactile sequence. In the experiments to discriminate 100 different fabric textures, the spatially and temporally selective attention has resulted in a significant improvement of the recognition accuracy, by up to 18.8%, compared to the non-attention based models. Specifically, after introducing noisy data that is collected before the contact happens, our proposed STAM can learn the salient features efficiently and the accuracy can increase by 15.23% on average compared with the CNN based baseline approach. The improved tactile texture perception can be applied to facilitate robot tasks like grasping and manipulation.

연구 동기 및 목표

• 기존의 촉각 텍스처 인식 방법이 모든 공간적 영역과 시간 샘플을 동일하게 취급함으로써 효율성과 노이즈에 민감한 문제를 해결하기 위해.
• 인간의 촉각 선택적 주의에서 영감을 받은 어텐션 메커니즘을 로봇 촉각 지각에 처음으로 적용해보고자 하였다.
• 촉각 시퀀스에서 공간적·시간적으로 선택적인 특징을 학습함으로써 정확도 향상과 강건성 향상을 도모하고자 하였다.
• 특히 실제 로봇 조작 환경에서 제한된 또는 노이즈가 있는 촉각 데이터로부터 더 효율적으로 학습할 수 있도록 하고자 하였다.

제안 방법

• STAM 모델은 이중 브랜치 아키텍처를 사용한다: 각 촉각 이미지의 다양한 영역에 대해 학습 가능한 가중치를 할당하여 정보가 풍부한 특징을 강조하는 공간 어텐션 모듈.
• 시간 어텐션 모듈을 통합하여 순차적인 촉각 샘플 간의 장거리 의존성을 모델링함으로써, 네트워크가 시간에 따라 가장 관련성이 높은 접촉 사건에 집중할 수 있도록 한다.
• 공간 어텐션 및 시간 어텐션 모듈은 촉각 텍스처 데이터에 대해 엔드 투 엔드 학습 중 교차 엔트로피 손실 함수를 사용하여 공동 최적화된다.
• Grad-CAM 시각화를 통해 공간 어텐션 메커니즘이 촉각 이미지의 주목할 만한 영역을 어떻게 강조하는지 해석하고 검증한다.
• 시간 어텐션 맵을 시각화하여 과거의 접촉 사건이 현재 촉각 상태 표현에 어떻게 影향을 미치는지 분석하며, 특히 최근 입력에 대한 집중을 강조한다.
• 모델은 100종류의 직물 텍스처 데이터셋에서 평가되었으며, 노이즈가 있는 데이터에 대한 추론 능력을 평가하기 위해 추론 실험을 실시하였다.

실험 결과

연구 질문

• RQ1 스페로-타임 어텐션 메커니즘이 정보가 풍부한 공간적 및 시간적 특징에 집중함으로써 촉각 텍스처 인식 정확도를 향상시킬 수 있는가?
• RQ2 특히 접촉 전 데이터가 포함된 상태에서 제안된 STAM 모델은 노이즈 조건에서 어떻게 성능을 발휘하는가?
• RQ3 제한된 입력 시퀀스에서 어텐션 메커니즘이 특징 학습 효율성을 어느 정도 향상시킬 수 있는가?
• RQ4 모델의 어텐션 분포가 인간과 유사한 촉각 선택적 주의를 반영하는가? 즉, 주목할 만한 특징과 최근 접촉 사건에 우선순위를 두는가?

주요 결과

• STAM 모델은 100종류의 직물 텍스처를 인식할 때 비어텐션 기반 모델 대비 최대 18.8%의 정확도 향상을 달성하여, 스페로-타임 어텐션의 효과성을 입증하였다.
• 노이즈가 있는 접촉 전 데이터가 포함된 경우에도 STAM 모델은 높은 성능을 유지하며, 기준 모델 대비 정확도 하락 폭이 0.92%에 그치며 강건성을 입증하였다 (기준 모델은 14.96% 하락).
• 노이즈가 있는 데이터에서 STAM 모델은 CNN 기반 기준 모델 대비 평균 15.23%의 정확도 향상을 기록하여, 불필요한 정보를 효과적으로 걸러내는 데서 효율성을 입증하였다.
• Grad-CAM을 통한 공간 어텐션 시각화 결과, 비어텐션 기준 모델 대비 정보가 풍부한 촉각 영역을 더 잘 활성화하는 것으로 확인되어, 더 나은 특징 선택 능력을 보였다.
• 시간 어텐션 분석 결과, 모델가 항상 최근의 접촉 영역에 집중하는 경향을 보이며, 장거리 시간 의존성을 효과적으로 모델링할 수 있었다.
• 기준 모델(57.4M) 대비 1140만 개의 파라미터가 더 많은(68.8M) 것으로 나타났지만, STAM 모델은 여전히 컴act하고 효과적이며, 어텐션 메커니즘이 과도한 복잡성 없이도 가치를 추가함을 시사한다.