[논문 리뷰] Manipulating Highly Deformable Materials Using a Visual Feedback Dictionary

Biao Jia, Zhe Hu외 2명|arXiv (Cornell University)|2017. 10. 18.

Advanced Vision and Imaging참고 문헌 35인용 수 3

한 줄 요약

이 논문은 RGB 영상에서 유도된 고유한 방향성 주름 히스토그램(HOW) 특징 표현을 기반으로 한 시각 피드백 사전 방법을 제안한다. 이는 옷과 같은 높은 변형성 재료를 제어하기 위한 것으로, 사전에 계산된 시각 피드백 사전과 함께 희소 선형 표현을 사용하여 실시간이고 견고한 제어를 가능하게 한다. 복잡한 작업, 특히 인간-로봇 협업 작업에서도 성공률 94.53%를 달성하였으며, 이는 HOG+HOW 특징을 사용한 결과이다.

ABSTRACT

The complex physical properties of highly deformable materials such as clothes pose significant challenges fanipulation systems. We present a novel visual feedback dictionary-based method for manipulating defoor autonomous robotic mrmable objects towards a desired configuration. Our approach is based on visual servoing and we use an efficient technique to extract key features from the RGB sensor stream in the form of a histogram of deformable model features. These histogram features serve as high-level representations of the state of the deformable material. Next, we collect manipulation data and use a visual feedback dictionary that maps the velocity in the high-dimensional feature space to the velocity of the robotic end-effectors for manipulation. We have evaluated our approach on a set of complex manipulation tasks and human-robot manipulation tasks on different cloth pieces with varying material characteristics.

연구 동기 및 목표

• 옷과 같이 차원 수가 높고 외부 요동에 민감한 높은 변형성 재료를 조작하는 데 도전하는 데 목적을 두며.
• 광범위한 훈련 데이터나 피넷셜 마커에 의존하지 않는 견고하고 실시간 가능한 시각 피드백 제어 방법을 개발하는 데 목적을 두며.
• 동적인 불확실한 조건에서 인간-로봇 협업을 통한 변형성 물체 조작을 가능하게 하는 데 목적을 두며.
• 희소 표현을 통해 시각적 특징에서 로봇 종단기구 속도로의 효율적이고 컴act한 매핑을 만드는 데 목적을 두며.

제안 방법

• RGB 영상 스트림에서 Gabor 필터를 사용해 고주파 및 저주파 성분을 추출함으로써, RGB 영상에서 유도된 새로운 방향성 주름 히스토그램(HOW) 특징 표현을 계산한다.
• 사전에 계산된 시각 피드백 사전를 구성하기 위해 오프라인 훈련 단계를 통해 샘플링 및 클러스터링을 통해 시각적 특징(HOW-특징)을 종단기구 속도로 매핑한다.
• 희소 선형 표현(기저 추적 정규화)을 사용하여 시각 피드백 사전에서 실시간 제어 속도를 계산하며, 데이터 피팅과 희소성 간의 균형을 유지한다.
• HOW-특징과 HOG 및 색상 히스토그램을 융합하여 특징 표현을 향상시키며, 융합이 성능 향상에 기여함을 입증한다.
• 12-DOF ABB YuMi 듌중 로봇과 RGB 카메라를 통합하여 복잡한 조작 작업에 대한 실시간 실행을 가능하게 한다.
• 작업에 맞는 시범 예측 기반으로 목표 구성 상태를 정의하고, 시각 피드백을 통해 로봇이 원하는 상태로 유도한다.

실험 결과

연구 질문

• RQ1 히스토그램 기반의 학습된 시각 피드백 사전이 높은 변형성 재료의 정확하고 실시간 제어를 가능하게 할 수 있는가?
• RQ2 제안된 방향성 주름 히스토그램(HOW) 특징이 큰 변형 상태에서 옷의 형태 변화와 변형을 얼마나 효과적으로 포착하는가?
• RQ3 시각 피드백 사전에 대한 희소 표현이 동적인 조작 작업에서 제어 정확도와 견고성을 얼마나 향상시키는가?
• RQ4 사람의 상호작용로 인한 외부 요동이 발생하는 인간-로봇 협업 조작을 시스템이 어떻게 처리할 수 있는가?

주요 결과

• HOG+HOW 특징 조합은 벤치마크 4에서 94.53%의 최고 성공률를 기록하여 개별 특징 및 다른 조합들을 능가하였다.
• HOW 특징만으로도 벤치마크 4에서 92.21%의 성공률를 기록하여, 옷의 변형과 주름을 효과적으로 포착함을 입증하였다.
• 희소 표현을 통한 시각 피드백 사전는 속도 오차를 감소시켰으며, 일정한 사전 크기 이상에서는 성능이 포화 상태에 도달함으로써 중복성이 있음을 시사하였다.
• 희소 표현에서 슬랙 변수 α는 데이터 피팅과 희소성 간의 트레이드오프를 조절하며, 최적의 값은 수렴성 향상과 오차 감소에 기여하였다.
• 시스템은 이중 암 로봇을 대상으로 펴기, 접기, 배치 작업 등 실시간 조작을 성공적으로 수행하였으며, 인간-로봇 협업도 포함하였다.
• 피넷셜 마커나 광범위한 훈련 데이터가 필요 없이도, 시각적 특징과 사전에 계산된 사전에 의존함으로써 높은 성능을 달성하였다.