[논문 리뷰] Self-Supervised Learning of State Estimation for Manipulating Deformable Linear Objects

Mengyuan Yan, Yilin Zhu외 2명|arXiv (Cornell University)|2019. 11. 14.

Advanced Vision and Imaging참고 문헌 30인용 수 10

한 줄 요약

이 논문은 로프와 같은 유연한 선형 물체의 상태 추정을 위한 자기지도 학습 프레임워크를 제안한다. 이는 두 단계의 인식 네트워크를 사용하며, 먼저 미세조정된 VGG16 특징을 통해 굵은 예측을 수행하고, 이후 공간 변환 네트워크를 사용해 계층적인 정밀화를 통해 64개의 세그먼트 정밀도를 달성한다. 이 방법은 복잡한 작업, 예를 들어 매듭을 묶는 작업에서도 강력한 추적과 조작 성능을 보이며, 제한된 애너테이션 데이터 조건에서도 높은 데이터 효율성과 뛰어난 성능을 발휘한다.

ABSTRACT

We demonstrate model-based, visual robot manipulation of linear deformable objects. Our approach is based on a state-space representation of the physical system that the robot aims to control. This choice has multiple advantages, including the ease of incorporating physics priors in the dynamics model and perception model, and the ease of planning manipulation actions. In addition, physical states can naturally represent object instances of different appearances. Therefore, dynamics in the state space can be learned in one setting and directly used in other visually different settings. This is in contrast to dynamics learned in pixel space or latent space, where generalization to visual differences are not guaranteed. Challenges in taking the state-space approach are the estimation of the high-dimensional state of a deformable object from raw images, where annotations are very expensive on real data, and finding a dynamics model that is both accurate, generalizable, and efficient to compute. We are the first to demonstrate self-supervised training of rope state estimation on real images, without requiring expensive annotations. This is achieved by our novel self-supervising learning objective, which is generalizable across a wide range of visual appearances. With estimated rope states, we train a fast and differentiable neural network dynamics model that encodes the physics of mass-spring systems. Our method has a higher accuracy in predicting future states compared to models that do not involve explicit state estimation and do not use any physics prior, while only using 3\% of training data. We also show that our approach achieves more efficient manipulation, both in simulation and on a real robot, when used within a model predictive controller.

연구 동기 및 목표

• 로봇 조작에서 로프와 같은 유연한 선형 물체의 정확하고 실시간 상태 추정 문제를 해결하기 위해.
• 사람이 애너테이션한 기준값에 대한 의존도를 줄이기 위해 이미지 복원과 시간적 일관성을 활용한 자기지도 학습을 활용하기 위해.
• 장기적인 조작 작업을 위한 역학 모델 학습에서의 데이터 효율성을 향상시키기 위해.
• 위상 변화가 발생하는 상황에서도 정확한 상태 추적을 유지함으로써 복잡한 조작 작업(예: 매듭 묶기)을 가능하게 하기 위해.
• 인식과 역학 모델링을 통합한 확장 가능한 종단 간 훈련이 가능한 시스템을 개발하기 위해.

제안 방법

• 두 단계의 인식 네트워크: 첫 번째로 고정된 VGG16 특징과 완전 연결층을 사용해 로프 형태의 굵은 9점 추정을 수행한다.
• 계층적 정밀화를 위해 공간 변환 네트워크(Spatial Transformer Networks, STNs)를 활용하며, 관심 영역(ROIs)의 수를 3단계 동안 8에서 64로 두 배로 증가시킨다.
• 각 정밀화 단계는 저해상도 VGG 블록에서 특징을 추출하고, STN을 적용해 7×7 크기로 재샘플링한 후, 각 ROI당 3개의 점(시작, 중간, 끝)을 예측한다. 겹치는 점들은 평균화된다.
• 자기지도 학습 손실은 예측된 이미지와 입력 이미지 간의 L2 손실을 최소화함으로써 수행되며, 손실 임계값 기반의 커리큘럼 학습 방식을 사용한다.
• 시간적 일관성을 확보하기 위해, 한 쌍의 이미지 중 하나만 손실 임계값 이하일 경우, 더 나은 성능을 보인 이미지를 나쁜 이미지의 가짜 레이블로 사용한다.
• 양방향 LSTM 역학 모델은 노드 수준의 입력(위치, 동작, 지시자)을 사용해 향후 로프 상태를 예측하며, 출력은 학습된 가중치를 통해 융합되어 다음 위치를 예측한다.

실험 결과

연구 질문

• RQ1 이미지 복원과 시간적 일관성을 활용한 자기지도 학습이 인간이 애너테이션한 关键점 레이블 없이도, 유연한 선형 물체의 상태 추정 정확도를 향상시킬 수 있는가?
• RQ2 공간 변환 네트워크를 활용한 계층적 정밀화가 얼마나 높은 해상도의 64세그먼트 로프 상태 추정에 효과적인가?
• RQ3 자동 커리큘럼 학습이 자기지도 인식 훈련의 수렴성과 강건성에 얼마나 기여하는가?
• RQ4 제안된 양방향 LSTM 역학 모델은 이전 기준 대비 데이터 효율성과 장기 예측 정확도에서 어떤가?
• RQ5 통합된 인식-역학 시스템은 위상 변화가 발생하는 복잡한 조작 작업(예: 매듭 묶기)을 성공적으로 수행할 수 있는가?

주요 결과

• 최소한의 감독 하에 정확한 64세그먼트 로프 상태 추정을 달성하여, 교차점과 같은 위상 변화 상황에서도 강력한 추적 성능을 발휘한다.
• 훈련 이미지 손실의 10~20퍼센트 백분위수 사이의 오차 임계값을 사용할 경우 최적의 성능를 달성하며, 임계값 선택에 대해 매우 민감하지 않다.
• 효율적인 샘플 수가 정체될 때마다 자동으로 임계값이 업데이트됨에 따라 훈련 과정에서 손실 곡선에 계단형 행동이 나타난다.
• 양방향 LSTM 역학 모델은 전체 0.5M 개의 시뮬레이션 동작 데이터셋의 3퍼센트만으로도 잘 일반화되며, 기준 모델 대비 뛰어난 데이터 효율성을 보여준다.
• 시뮬레이션 환경에서 제안된 방법은 100번의 동작 후 기준 모델(DVF)보다 목표 상태에 훨씬 더 가까운 상태를 달성하여, 장기 예측 제어 성능이 뛰어나다는 것을 입증한다.
• 시각화를 통해 정확한 상태 추적과 목표 달성 가능성을 확인함으로써, 복잡한 조작 작업(예: 매듭 묶기)을 성공적으로 수행할 수 있음을 검증하였다.