[논문 리뷰] Non-Matrix Tactile Sensors: How Can Be Exploited Their Local Connectivity For Predicting Grasp Stability?

Brayan S. Zapata-Impata, Pablo Gil외 1명|arXiv (Cornell University)|2018. 09. 14.

Robot Manipulation and Learning참고 문헌 4인용 수 14

한 줄 요약

이 논문은 비행렬 터치 센서—특히 BioTac SP 센서—를 터치 이미지로 해석하여 컨volutional 신경망(CNN)을 사용해 抓握 안정성을 예측하는 새로운 방법을 제안한다. 고유한 전극 매핑 전략을 통해 국소 연결성을 유지함으로써, 실제 2,500개의 抓握 데이터셋에서 94.2%의 F1 점수를 기록하여 수작업 특징 또는 체감 정보에 의존하지 않고도 최신 기술 수준의 성능을 입증한다.

ABSTRACT

Tactile sensors supply useful information during the interaction with an object that can be used for assessing the stability of a grasp. Most of the previous works on this topic processed tactile readings as signals by calculating hand-picked features. Some of them have processed these readings as images calculating characteristics on matrix-like sensors. In this work, we explore how non-matrix sensors (sensors with taxels not arranged exactly in a matrix) can be processed as tactile images as well. In addition, we prove that they can be used for predicting grasp stability by training a Convolutional Neural Network (CNN) with them. We captured over 2500 real three-fingered grasps on 41 everyday objects to train a CNN that exploited the local connectivity inherent on the non-matrix tactile sensors, achieving 94.2% F1-score on predicting stability.

연구 동기 및 목표

• 비행렬 터치 센서를 터치 이미지로 간주하여 국소 연결성을 활용해 抓握 안정성 예측 가능성을 탐색한다.
• 딥 러닝을 통해 원시 터치 독해에 기반해 수작업 특징이나 체감 정보 의존도를 줄이기 위해 노력한다.
• 전이 학습과 데이터 증강을 활용해 훈련 중에 나타나지 않은 물체에 대한 모델의 일반화 성능을 평가한다.
• 동일한 작업에서 CNN과 전통적 기계 학습 모델(SVM, MLP, 랜덤 포레스트) 간의 성능을 비교한다.
• 다양한 터치 이미지 구성 전략이 모델 정확도와 강건성에 미치는 영향을 조사한다.

제안 방법

• 비행렬 전극 24개를 국소적 관계를 유지하는 3가지 다른 분포(D1, D2, D3)를 사용해 2차원 터치 이미지 매트릭스로 매핑한다.
• 손가락 별 이미지(검지, 중지, 엄지)를 연결하여 3채널 터치 이미지를 구성함으로써 CNN이 채널 별 특징을 학습할 수 있도록 한다.
• 2,500개의 抓握 데이터셋에 제한된 데이터로 과적합 방지를 위해 배치 정규화, 드롭아웃, L2 정규화를 적용한 경량 CNN(CNN1)을 훈련한다.
• 기하학적 데이터 증강(뒤집기 및 ±10° 회전)을 적용하여 훈련 데이터 다양성을 높이면서도 전극 값의 물리적 타당성을 유지한다.
• 10겹 교차 검증을 사용해 모델을 평가하고, 별도의 6개의 새로운 물체로 구성된 검증 세트를 통해 일반화 성능을 테스트한다.
• 이미지 및 벡터 기반 입력에 대해 z-점수 정규화를 적용하여 모든 모델 간 일관된 스케일링을 확보한다.

실험 결과

연구 질문

• RQ1 비행렬 터치 센서를 효과적으로 2차원 터치 이미지로 간주하여 국소 연결성을 유지함으로써 抓握 안정성 예측이 가능한가?
• RQ2 이러한 터치 이미지에 기반한 CNN이 전통적 기계 학습 모델(SVM, MLP, 랜덤 포레스트)보다 抓握 안정성 예측에서 더 우수한 성능을 보일 수 있는가?
• RQ3 전극 매핑 전략(D1, D2, D3)의 선택이 CNN 성능에 어떤 영향을 미치는가?
• RQ4 훈련 중에 존재하지 않은 새로운 물체에 대해 CNN의 일반화 능력은 어떠한가?
• RQ5 제한된 훈련 데이터에서 기하학적 변환을 통한 데이터 증강이 CNN의 일반화 성능 향상에 기여하는가?

주요 결과

• 제안된 방법은 전체 데이터셋에서 94.2% ± 0.8%의 F1 점수를 기록하여 모든 전통적 모델을 능가하며, 이 작업에 있어 최신 기술 수준의 성능을 나타낸다.
• 3채널 이미지 연결 전략이 가장 우수한 성능을 보였으며, 이는 CNN이 각 손가락 별로 별도의 필터를 학습할 수 있게 해 주어 스택형 또는 평탄화된 표현보다 특징 학습 능력이 향상되었음을 시사한다.
• 랜덤 포레스트는 미리 보지 않은 물체 세트에서 90.2% ± 0.5%의 F1 점수를 기록하여, 데이터 증강이 적용되지 않은 CNN(87.7% ± 0.4%)보다 뛰어난 성능을 보였으며, 이는 데이터가 적은 환경에서 데이터 증강의 필요성을 시사한다.
• 기하학적 변환(뒤집기, 회전)을 통한 데이터 증강은 훈련 세트 크기를 4배로 늘리고 CNN의 F1 점수를 90.1% ± 0.4%로 향상시켜 랜덤 포레스트의 성능과 동등하게 만들었다.
• CNN 아키텍처에 풀링 레이어를 추가하면 성능이 떨어졌으며, 이는 고해상도 터치 이미지의 구조를 유지하는 것이 핵심임을 시사한다.
• 모델 성능은 다수의 실행에 걸쳐 안정적이었으며 표준 편차가 낮아 데이터 셔플링 및 훈련 변동성에 대해 강건함을 보였다.