[논문 리뷰] LaSeSOM: A Latent Representation Framework for Semantic Soft Object Manipulation

Peng Zhou, Jihong Zhu외 2명|arXiv (Cornell University)|2020. 01. 01.

Robot Manipulation and Learning참고 문헌 35인용 수 1

한 줄 요약

LaSeSOM은 기하학적 특징 추출과 고수준 의미 분석을 내부 잠재층을 통해 분리함으로써 의미적 소프트 오브젝트 조작을 위한 일반적이고 확장 가능한 잠재 표현 프레임워크를 제안한다. 1D/2D/3D 작업 전반에 걸쳐 (준)형태 계획을 가능하게 함으로써 이전 방법의 사례별 제한성을 극복하며, 로봇 조작 실험에서 강인한 성능을 달성한다.

ABSTRACT

Soft object manipulation has recently gained popularity within the robotics community due to its potential applications in many economically important areas. Although great progress has been recently achieved in these types of tasks, most state-of-the-art methods are case-specific; They can only be used to perform a single deformation task (e.g. bending), as their shape representation algorithms typically rely on hard-coded features. In this paper, we present LaSeSOM, a new feedback latent representation framework for semantic soft object manipulation. Our new method introduces internal latent representation layers between low-level geometric feature extraction and high-level semantic shape analysis; This allows the identification of each compressed semantic function and the formation of a valid shape classifier from different feature extraction levels. The proposed latent framework makes soft object representation more generic (independent from the object's geometry and its mechanical properties) and scalable (it can work with 1D/2D/3D tasks). Its high-level semantic layer enables to perform (quasi) shape planning tasks with soft objects, a valuable and underexplored capability in many soft manipulation tasks. To validate this new methodology, we report a detailed experimental study with robotic manipulators.

연구 동기 및 목표

• 경직된 특징을 하드코딩한 탓에 특정 변형 작업에만 국한되는 기존 소프트 오브젝트 조작 방법의 한계를 해결한다.
• 기하학적 구조와 기계적 성질에 독립적인 일반적이고 확장 가능한 소프트 오브젝트 표현 프레임워크를 개발한다.
• 현재 로봇 공학 연구에서 다루지 않은 바람직한 고수준 의미적 형태 계획 기능을 제공한다.
• 저수준 특징과 고수준 의미론 사이에 내부 잠재 표현 층을 통합하여 분류 및 작업 일반화 성능을 향상시킨다.

제안 방법

• 기하학적 특징 추출과 의미적 형태 분석 사이에 내부 잠재 표현 층을 도입하여 저수준 특징과 고수준 의미론을 분리한다.
• 다중 수준의 특징 추출에서 유도된 압축된 의미 기능을 활용해 타당한 형태 분류기 구축.
• 통일된 잠재 공간을 통해 1D, 2D, 3D 조작 작업 전반에 걸쳐 확장 가능한 아키텍처 설계.
• 고수준 의미론 층을 활용해 (준)형태 계획을 지원함으로써 원하는 변형을 계획 가능하게 한다.
• 로봇 조작기로 프레임워크를 훈련 및 검증하여 실제 소프트 오브젝트 조작 환경에서의 성능 평가.
• 잠재 공간의 분리 기법을 통해 표현이 물체의 기하학적 구조와 기계적 성질에 영향을 받지 않도록 보장.

실험 결과

연구 질문

• RQ1 잠재 표현 프레임워크는 단일 변형 유형을 초월해 다양한 소프트 오브젝트 조작 작업에 일반화될 수 있는가?
• RQ2 잠재 공간이 다양한 차원의 작업(1D/2D/3D) 전반에서 의미적 형태 분류 및 계획에 얼마나 효과적으로 기여하는가?
• RQ3 최신 기술 대비 하드코딩된 특징에 대한 의존도가 얼마나 감소하는가?
• RQ4 고수준 의미론 층이 로봇 조작 시나리오에서 (준)형태 계획을 지원할 수 있는가?
• RQ5 다양한 기하학적 구조와 기계적 성질을 가진 소프트 오브젝트에 적용했을 때 프레임워크의 확장성과 강인성은 어느 정도인가?

주요 결과

• LaSeSOM 프레임워크는 기하학적 특징 추출과 의미 분석을 성공적으로 분리하여 일반적인 소프트 오브젝트 표현을 가능하게 했다.
• 통일된 잠재 공간 아키텍처를 통해 1D, 2D, 3D 조작 작업 전반에 걸쳐 확장성을 확보했다.
• 고수준 의미론 층을 통해 (준)형태 계획이 가능해졌으며, 이는 기존 소프트 조작 시스템에서 흔히 지원되지 않는 새로운 기능이다.
• 로봇 조작 실험에서 강인한 성능을 보이며 실용적 적용 가능성을 입증했다.
• 잠재 표현이 물체의 기하학적 구조와 기계적 성질에 영향을 받지 않아 다양한 소프트 오브젝트 간 일반화 능력이 향상되었다.
• 다중 수준의 특징 추출에서 유도된 압축된 의미 기능을 활용해 효과적인 형태 분류가 가능했다.