[논문 리뷰] Vision-based Manipulation of Deformable and Rigid Objects Using Subspace Projections of 2D Contours

Jihong Zhu, David Navarro-Alarcón외 2명|arXiv (Cornell University)|2020. 06. 16.

Advanced Vision and Imaging참고 문헌 36인용 수 4

한 줄 요약

이 논문은 2차원 영상 윤곽의 부분공간 투영을 이용하여 강체 및 연성 물체를 통합적으로 조작하는 모델 프리(model-free), 시각 기반 프레임워크를 제안한다. 이는 원시 영상 데이터에서 온라인으로 시각적 특징과 상호작용 행렬을 자동으로 학습하여, 카메라 캘리브레이션, 물체 성질에 대한 사전 지식, 또는 광범위한 훈련 없이 실시간 제어를 가능하게 하며, 자유공간 및 접촉 기반 구성에서 Sponge에 대한 '이동 및 형상 조절' 작업을 성공적으로 구현한다.

ABSTRACT

This paper proposes a unified vision-based manipulation framework using image contours of deformable/rigid objects. Instead of using human-defined cues, the robot automatically learns the features from processed vision data. Our method simultaneously generates -- from the same data -- both, visual features and the interaction matrix that relates them to the robot control inputs. Extraction of the feature vector and control commands is done online and adaptively, with little data for initialization. The method allows the robot to manipulate an object without knowing whether it is rigid or deformable. To validate our approach, we conduct numerical simulations and experiments with both deformable and rigid objects.

연구 동기 및 목표

• 물체의 기계적 성질에 대한 사전 가정 없이도 강체 및 연성 물체 조작을 모두 처리할 수 있는 통합된 시각 기반 제어 프레임워크를 개발하는 것.
• 시각적 특징과 상호작용 모델을 영상 데이터에서 직접 학습함으로써 수동적인 특징 정의나 물리 모델링이 필요 없도록 하는 것.
• 최소한의 초기화 데이터로 온라인에서 적응 가능한 특징 추출 및 제어 입력 생성을 가능하게 하는 것.
• 이동 및 형상 조절 작업, 특히 접촉 기반 변형을 포함한 시뮬레이션 및 실제 실험을 통해 프레임워크를 검증하는 것.
• 접촉 기반 조작 중 초기 오차 정렬 및 잘못된 윤곽선과 같은 시각적 노이즈에 대한 내성 여부를 평가하는 것.

제안 방법

• 주성분 분석(PCA)을 사용하여 2차원 물체 윤곽을 저차원 부분공간에 투영함으로써 영상 데이터에서 압축된 시각적 특징 벡터를 추출한다.
• 광학 모멘트와 부분공간 투영을 이용한 직접적인 시각 서보 제어 방법을 제안하여 명시적인 특징 파rameterization을 피한다.
• 시각 및 조작 데이터를 동시에 수집하여 상호작용 행렬을 온라인으로 학습함으로써 실시간 적응이 가능하도록 한다.
• 카메라 캘리브레이션, 카메라 자세, 물체 크기 또는 형태에 대한 지식 없이도 작동하며, 영상의 밝기와 윤곽선 데이터에만 의존한다.
• 수렴성을 평가하기 위해 부분공간 기반 오차 지표(ASE)를 사용하며, 수렴 조건으로 ASE = 1을 사용한다.
• 수치 시뮬레이션과 실제 실험(자유공간에서의 강체, 접촉 기반에서의 연성 물체로 사용된 스폰지)을 통해 시스템을 검증한다.

실험 결과

연구 질문

• RQ1 물체 성질에 대한 사전 지식 없이도 강체 및 연성 물체 조작을 모두 처리할 수 있는 통합된 시각 기반 제어 프레임워크를 개발할 수 있는가?
• RQ2 명시적인 특징 설계 없이 원시 영상 데이터에서 시각적 특징과 상호작용 모델을 동시에 온라인으로 학습할 수 있는가?
• RQ3 카메라 캘리브레이션 또는 카메라 자세에 대한 지식 없이 얼마나 오랫동안 프레임워크가 작동할 수 있는가?
• RQ4 이동 및 형상 조절 작업을 성공적으로 수행할 수 있는가? 이는 물체의 운동과 변형을 동시에 요구한다.
• RQ5 접촉 기반 조작 중에 시각적 노이즈(예: 잘못된 윤곽선)나 초기 정렬 오차에 대해 얼마나 내성적인가?

주요 결과

• 프레임워크는 자유공간 조작에서 접촉 기반 형상 조절로의 전환을 포함하여 스폰지에 대해 '이동 및 형상 조절' 작업을 성공적으로 수행하였으며, 시뮬레이션과 실제 실험 모두 목표 윤곽에 수렴하였다.
• 초기 접촉이 정렬되지 않은 상태에서도 그림 21에 나타나 있듯이 ASE가 1 이하로 수렴함을 확인하였다.
• 카메라 캘리브레이션 또는 물체 크기, 형태, 강성에 대한 사전 지식 없이도 작동하여 다양한 초기 조건에 대해 내성적임을 입증하였다.
• 이미지 데이터의 잘못된 윤곽선은 ASE 지표에 노이즈를 유발하지만, 시스템은 여전히 수용 가능한 최종 구성 상태를 달성하여 시각적 오류에 대한 내성성을 보였다.
• 프레임워크는 모델 프리이며 최소한의 초기화 데이터만 필요로 하여 조작 중 빠른 온라인 적응이 가능하다.
• 모델링된 시뮬레이션과 실제 실험 모두에서 검증되었으며, 다양한 물체 유형과 제어 시나리오에서의 타당성과 내성성을 확인하였다.