[논문 리뷰] Semi-Supervised Haptic Material Recognition for Robots using Generative Adversarial Networks

Zackory Erickson, Sonia Chernova외 1명|arXiv (Cornell University)|2017. 07. 10.

Industrial Vision Systems and Defect Detection인용 수 23

한 줄 요약

이 논문은 힘, 온도, 진동 특징을 사용하여 로봇의 촉각적 재료 인식을 위한 준감독형 생성적 적대적 네트워크(GAN) 프레임워크를 제안한다. 레이블이 없는 훈련 데이터의 비율이 92%일 때도 약 90%의 정확도를 달성한다. 이 방법은 레이블이 거의 없는 데이터를 활용하여 일반화 능력을 크게 향상시키며, 저자료 환경에서 지도 학습 기반 모델보다 뛰어난 성능을 보인다.

ABSTRACT

Material recognition enables robots to incorporate knowledge of material properties into their interactions with everyday objects. For example, material recognition opens up opportunities for clearer communication with a robot, such as "bring me the metal coffee mug", and recognizing plastic versus metal is crucial when using a microwave or oven. However, collecting labeled training data with a robot is often more difficult than unlabeled data. We present a semi-supervised learning approach for material recognition that uses generative adversarial networks (GANs) with haptic features such as force, temperature, and vibration. Our approach achieves state-of-the-art results and enables a robot to estimate the material class of household objects with ~90% accuracy when 92% of the training data are unlabeled. We explore how well this approach can recognize the material of new objects and we discuss challenges facing generalization. To motivate learning from unlabeled training data, we also compare results against several common supervised learning classifiers. In addition, we have released the dataset used for this work which consists of time-series haptic measurements from a robot that conducted thousands of interactions with 72 household objects.

연구 동기 및 목표

• 촉각 데이터 수집 비용이 높은 문제를 해결하기 위해 레이블이 부여된 촉각 데이터에 대한 의존도를 줄이기 위해.
• 실제 로봇 상호작용 동안 수집된 레이블이 없는 촉각 데이터를 활용하여 재료 인식의 일반화 능력을 향상시키기 위해.
• GAN과 다중 모odal 촉각 특징(힘, 온도, 접촉 마이크로폰)을 결합한 준감독 학습 프레임워크를 개발하여 성능을 향상시키기 위해.
• 제한된 또는 레이블이 없는 예시만 존재할 때 새로운, 미리 보지 못한 물체를 인식할 수 있는 능력을 평가하기 위해.
• 미래 연구를 지원하기 위해 72개의 가정용 물체에 대해 7,200회의 촉각 상호작용 데이터셋을 공개하기 위해.

제안 방법

• 모델은 레이블이 있는 데이터와 없는 데이터를 동시에 학습하는 조건부 GAN 아키텍처를 사용한다.
• 생성자는 잠재 코드를 사용하여 각 재료 유형에 대해 현실적인 촉각 특징 시퀀스(힘, 온도, 진동)를 합성하도록 학습한다.
• 판별기는 실제 촉각 샘플과 생성된 샘플을 구분하고 재료 유형을 분류하도록 훈련되어 준감독 학습을 가능하게 한다.
• 레이블이 있는 데이터에 대한 지도 학습 손실과 레이블이 없는 데이터에 대한 일관성 정규화를 조합하여 일반화 능력을 향상시킨다.
• 다중 모달 촉각 특징을 통합한다: 힘(로봇의 손목 센서에서 측정), 온도(활성 열 센서를 통한 측정), 진동(접촉 마이크로폰를 통한 측정).
• 훈련는 6중 교차 검증을 사용하고 100 에포크 동안 수행되며, 레이블이 있는 데이터와 없는 데이터의 비율을 다양하게 설정하여 성능을 평가한다.

실험 결과

연구 질문

• RQ1 레이블이 부여된 훈련 데이터의 비율이 매우 낮을 때 준감독형 GAN 접근법이 높은 재료 인식 정확도를 달성할 수 있는가?
• RQ2 레이블이 없는 데이터를 포함시킬 경우, 촉각 재료 인식에서 저샷 학습 환경에서 모델 성능에 어떤 영향을 미치는가?
• RQ3 레이블이 부족한 상태에서 새로운, 이전에 보지 못한 물체에 대해 모델이 일반화할 수 있는가?
• RQ4 다양한 상호작용 지속 시간 동안 힘, 온도, 접촉 마이크로폰 등의 다른 촉각 모odal이 정확도에 어떤 기여를 하는가?
• RQ5 레이블이 부족한 상황에서 레이블이 없는 데이터의 양을 늘릴 경우 모델 정확도에 어떤 영향을 미치는가?

주요 결과

• 레이블이 없는 훈련 데이터 비율이 92%일 때 준감독형 GAN이 90%의 재료 인식 정확도를 달성하여, 레이블이 거의 없는 조건에서도 뛰어난 성능을 보였다.
• 클래스당 레이블이 40개뿐이었을 때(전체 데이터셋의 4%), 레이블이 없는 데이터가 클래스당 960개일 경우 85.6%의 정확도를 달성했으며, 레이블이 없는 데이터가 없을 경우보다 10.8% 향상된 성능을 보였다.
• 4초 간의 상호작용 동안 힘과 온도 특징만을 사용했을 때 95.3%의 정확도를 기록했고, 0.5초의 접촉만으로도 92.4%의 정확도를 달성했다.
• 1초 간 상호작용 시, 접촉 마이크로폰 데이터를 추가로 포함시켰을 때 힘과 온도만 사용한 경우보다 정확도가 1.5% 향상되었다.
• 하나의 물체를 제외한 교차 검증 결과, 새로운 물체에 대해 소수의 레이블 예시가 존재할 경우 모델은 90% 이상의 정확도를 유지했지만, 레이블 예시가 전혀 없을 경우 약 20% 성능이 저하되었다.
• 레이블이 없는 데이터의 양을 늘릴수록 성능 향상이 뚜렷하게 나타났으며, 특히 레이블이 있는 데이터보다 레이블이 없는 데이터의 수가 더 많아질 경우 성능 향상 폭이 가장 컸다.