[논문 리뷰] Multimodel Sensor Fusion for Learning Rich Models for Interacting Soft Robots

Thomas George Thuruthel, Fumiya Iida|arXiv (Cornell University)|2022. 05. 09.

Advanced Sensor and Energy Harvesting Materials인용 수 5

한 줄 요약

이 논문은 행동(효모) 및 촉각(afferent) 센서 데이터를 융합하여 연속적인 딥러닝 프레임워크를 제안하며, 부드러운 로봇의 고차원 시각적 모델을 학습시켜 신체 형태와 환경 상호작용을 정확하게 예측한다. 이 방법은 수동 레이블링이나 중간 처리 없이도 자기환경 분할을 유도하고, 자기 모델링 및 물체 조작 기술을 가능하게 한다.

ABSTRACT

Soft robots are typically approximated as low-dimensional systems, especially when learning-based methods are used. This leads to models that are limited in their capability to predict the large number of deformation modes and interactions that a soft robot can have. In this work, we present a deep-learning methodology to learn high-dimensional visual models of a soft robot combining multimodal sensorimotor information. The models are learned in an end-to-end fashion, thereby requiring no intermediate sensor processing or grounding of data. The capabilities and advantages of such a modelling approach are shown on a soft anthropomorphic finger with embedded soft sensors. We also show that how such an approach can be extended to develop higher level cognitive functions like identification of the self and the external environment and acquiring object manipulation skills. This work is a step towards the integration of soft robotics and developmental robotics architectures to create the next generation of intelligent soft robots.

연구 동기 및 목표

• 자기 자유도가 높은 부드러운 로봇의 전체 변형 및 상호작용 역학을 포괄적으로 기록할 수 없는 저차원 모델의 한계를 해결한다.
• 중간 센서 처리나 원시 센서 데이터의 수동 레이블링을 회피하는 데이터 기반 엔드 투 엔드 학습 접근법을 개발한다.
• 촉각 및 시각적 감각 입력을 통합하여 환경과의 상호작용 중 부드러운 로봇 상태의 rich한 내부 모델을 구축한다.
• 감각운동 표현의 비지도 학습을 통해 자율적 자기 식별 및 물체 조작과 같은 유도된 인지 기능을 가능하게 한다.
• 이러한 모델이 형태 제어, 음영 처리 및 향후 예측 제어 등 부드러운 로봇 공학에서의 실현 가능성을 입증한다.

제안 방법

• 명령된 동작과 실시간 촉각 센서 읽기만을 입력으로 사용하여, 부드러운 인간형 손가락의 미래 시각적 상태를 예측하는 딥 네ural 네트워크를 훈련한다.
• 순차적 압축으로 인한 정보 손실을 방지하기 위해, 다중 모달 감각운동 입력을 예측 이미지 프레임으로 매핑하는 데 정적(비순환) 컨볼루션 신경망 아키텍처를 사용한다.
• 지상 진실 레이블이나 수동 특징 공학 없이도 원시로 처리되지 않은 시각적 및 촉각 데이터를 활용하여 자기지도 학습을 가능하게 한다.
• 두 개의 스트림 인코더-디코더 구조를 활용하여, 네트워크가 감각운동 입력에서 시각적 상태를 재구성하도록 학습시키며, 잠재 공간은 로봇 자체와 환경 간의 구조적 차이를 포착한다.
• 전치 컨볼루션 레이어를 활용하여 학습된 표현을 시각화하고 분석하여, 로봇 몸체와 외부 물체 사이의 자발적 분할을 드러낸다.
• 부드러운 손가락과의 상호작용 데이터셋(예: 펜과 같은 조작 가능한 물체의 접촉 포함)을 사용하여 모델을 엔드 투 엔드 방식으로 훈련한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 행동 명령과 촉각 피드백만을 사용하여 부드러운 로봇의 고차원 시각적 상태를 예측할 수 있는가?
• RQ2 촉각 및 시각 데이터의 통합은 환경 상호작용 중 부드러운 로봇의 내부 상태 모델링 정확도와 강건성에 어떻게 기여하는가?
• RQ3 명시적 감독 없이도 감각운동 데이터로부터 로봇 몸체와 외부 물체 간의 자발적 분할이 나타날 수 있는가?
• RQ4 촉각 센서는 동적 상호작용 중 로봇 자체의 형태 인식 및 자기 모델링 정확도를 높이는 데 어떤 역할을 하는가?
• RQ5 이러한 모델이 부드러운 로봇 시스템에서 물체 조작 및 자기 인식과 같은 고차원 인지 기능을 어느 정도 지원할 수 있는가?

주요 결과

• 정적 네트워크 아키텍처가 순환 아키텍처보다 시간 시리즈 예측 작업에서 더 우수한 성능을 보였으며, 이는 특징 압축과 센서 히스테리시스로 인한 정보 손실 감소 때문일 것이다.
• 촉각 센서 데이터는 외부 힘으로 인해 로봇의 형태가 변화할 경우에도 신체 체계 예측에 필수적이었다.
• 행동 및 촉각 입력 기반으로 환경 변화(예: 물체 이동)를 성공적으로 예측하여, 외부 역학을 모델링할 수 있음을 입증했다.
• 잠재 공간의 시각화 결과에서 부드러운 로봇 몸체와 펜과 같은 외부 물체 사이에 명확한 자발적 분할이 나타났으며, 이는 비지도 자기-환경 차별화를 의미한다.
• 음영 처리 조건에서도 정확한 시각적 상태 예측을 달성하여, 복잡하거나 혼잡한 환경에서 시각 센서의 대체 수 Mittel로의 잠재적 응용 가능성을 시사한다.
• 학습된 모델은 감각운동 표현의 비지도 학습을 통해 자율적 자기 식별 및 물체 조작 능력과 같은 인지 기능의 유도를 가능하게 했다.