[논문 리뷰] Learning Semantic Embedding Spaces for Slicing Vegetables

Mohit Sharma, Kevin Zhang외 1명|arXiv (Cornell University)|2019. 03. 30.

Robot Manipulation and Learning참고 문헌 18인용 수 8

한 줄 요약

이 논문은 채소 슬라이싱을 위한 의미적으로 풍부하고 개체 중심의 임베딩을 학습하기 위해 상호작용 기반 보조 작업—특히 조각 두께 예측—을 사용하는 이단계 학습 프레임워크를 제안한다. 이러한 작업에 대해 임베딩 네트워크를 훈련한 후에 임베딩을 사용해 전방 모델을 학습함으로써, 임베딩 공간에서 정확한 온라인 계획이 가능해지며, 실험 결과 두께와 같은 연속적인 의미적 특성과 허브리카와 토마토 간의 일반화 능력을 모델이 포착하는 것으로 나타났다.

ABSTRACT

In this work, we present an interaction-based approach to learn semantically rich representations for the task of slicing vegetables. Unlike previous approaches, we focus on object-centric representations and use auxiliary tasks to learn rich representations using a two-step process. First, we use simple auxiliary tasks, such as predicting the thickness of a cut slice, to learn an embedding space which captures object properties that are important for the task of slicing vegetables. In the second step, we use these learned latent embeddings to learn a forward model. Learning a forward model affords us to plan online in the latent embedding space and forces our model to improve its representations while performing the slicing task. To show the efficacy of our approach we perform experiments on two different vegetables: cucumbers and tomatoes. Our experimental evaluation shows that our method is able to capture important semantic properties for the slicing task, such as the thickness of the vegetable being cut. We further show that by using our learned forward model, we can plan for the task of vegetable slicing.

연구 동기 및 목표

• 로봇 조작을 위한 임의의 작업에 관련된 의미적 특성을 포착하는 표현 학습 방법을 개발하는 것.
• 수동으로 설계된 특징에 의존하지 않고, 변형 가능하고 형상이 다양한 물체에 대해 의미 있고 일반화 가능한 표현을 학습하는 데 도전하는 것.
• 단순히 모방 학습이나 보상 형상화에 의존하는 것보다, 상호작용과 보조 학습을 통해 표현 품질을 향상시키는 것.
• 학습된 잠재 표현 공간에서 전방 모델을 기반으로 온라인 계획을 가능하게 하는 것.
• 허브리카와 토마토를 포함한 실제 로봇 작업 환경에서 본 방법을 검증하여 의미적 이해력과 계획 능력을 입증하는 것.

제안 방법

• 특히 썰어진 채소 조각의 두께를 예측하는 보조 작업을 통해 상호작용 데이터와 함께 임베딩 네트워크를 훈련한다.
• 이중 단계 프로세스를 사용한다: 첫째, 보조 작업에 대해 임베딩 네트워크를 사전 훈련하여 개체 중심 표현을 학습한다; 둘째, 학습된 임베딩에 기반해 전방 모델을 훈련한다.
• 전방 모델을 활용해 임베딩 공간에서 미래 상태의 다단계 예측을 수행함으로써 온라인 계획을 가능하게 한다.
• 전방 모델의 예측 결과를 활용해 자기 지도 학습을 통해 학습된 임베딩의 품질을 반복적으로 향상시킨다.
• RGB 영상(측면, 암부착형, 소지형 카메라)을 다중 카메라에서 수집한 데이터를 처리하기 위해 3D 컨볼루션 신경망 아키텍처를 사용한다.
• 학습된 임베딩 공간의 의미적 구조를 시각화하고 검증하기 위해 주성분 분석(PCA)을 적용한다.

실험 결과

연구 질문

• RQ1 슬라이스 두께 예측과 같은 보조 작업이 채소 슬라이싱을 위한 의미적으로 유의미하고 개체 중심의 표현을 효과적으로 유도할 수 있는가?
• RQ2 학습된 임베딩 공간이 두께와 같은 연속적인 의미적 특성을 체계적이고 일반화 가능한 방식으로 포착하는가?
• RQ3 학습된 임베딩에 기반한 전방 모델이 임베딩 공간에서 채소 슬라이싱을 위한 정확한 다단계 계획을 가능하게 하는가?
• RQ4 전방 모델과 임베딩 네트워크 간의 상호작용이 자기 향상 과정을 통해 표현 품질을 향상시키는가?
• RQ5 이 방법이 형상과 물리적 성질이 다른 채소(허브리카 대 토마토) 간에 얼마나 일반화되는가?

주요 결과

• 학습된 임베딩 공간은 두께와 같은 의미적 특성을 포착하며, 시각적으로 유사한 클래스(예: 매우 얇은 것과 얇은 것)가 임베딩 공간에서 가까이 군집되어 있음을 보여준다.
• 전방 모델의 예측 임베딩 값이 임베딩 네트워크로부터 계산된 진짜 값과 매우 유사함을 확인하여 상태 전이 모델링의 정확성을 입증한다.
• 근접한 두께 클래스(예: 얇은 것 대비 매우 얇은 것)에 대해 전방 모델의 예측 분산이 높게 나타나, 두께에 대한 연속적인 이해를 학습하고 있음을 시사한다.
• 임베딩 공간에서의 다단계 계획이 다수의 컷에 걸쳐 채소 상태의 변화를 성공적으로 시뮬레이션하며, 조각 두께에 따라 임베딩 값이 적절하게 변화함을 보였다.
• 모델은 일반화 능력이 뛰어나, 형상과 질감의 차이가 있는 허브리카와 토마토 모두에 대해 일관된 표현을 학습한다.
• 전방 모델과 임베딩 네트워크 간의 반복적 피드백 루프를 통해 표현 품질이 향상되며, 계획 과정을 통해 작업에 관련된 특징을 더 잘 코딩하도록 모델이 학습됨을 확인했다.