[논문 리뷰] Same Object, Different Grasps: Data and Semantic Knowledge for Task-Oriented Grasping

Adithyavairavan Murali, Weiyu Liu외 3명|arXiv (Cornell University)|2020. 11. 12.

Robot Manipulation and Learning참고 문헌 45인용 수 18

한 줄 요약

이 논문은 191개의 물체와 56개의 작업을 포함해 총 25만 건의 작업 중심 기립을 포함하는 TaskGrasp 데이터셋을 소개하며, 지식 그래프와 워드 임베딩으로부터 도출된 의미 지식을 활용하는 그래프 신경망 프레임워크인 GCNGrasp를 제안한다. 이는 미리 보지 못한 물체와 작업으로의 일반화를 가능하게 한다. 기반 모델 대비 의미적 추론 없이도 보류된 작업에서 12% 향상되고, 보류된 물체에서 3.5% 향상된다.

ABSTRACT

Despite the enormous progress and generalization in robotic grasping in recent years, existing methods have yet to scale and generalize task-oriented grasping to the same extent. This is largely due to the scale of the datasets both in terms of the number of objects and tasks studied. We address these concerns with the TaskGrasp dataset which is more diverse both in terms of objects and tasks, and an order of magnitude larger than previous datasets. The dataset contains 250K task-oriented grasps for 56 tasks and 191 objects along with their RGB-D information. We take advantage of this new breadth and diversity in the data and present the GCNGrasp framework which uses the semantic knowledge of objects and tasks encoded in a knowledge graph to generalize to new object instances, classes and even new tasks. Our framework shows a significant improvement of around 12% on held-out settings compared to baseline methods which do not use semantics. We demonstrate that our dataset and model are applicable for the real world by executing task-oriented grasps on a real robot on unknown objects. Code, data and supplementary video could be found at https://sites.google.com/view/taskgrasp

연구 동기 및 목표

• 작업 중심 로봇 기립을 위한 대규모이고 다양한 데이터셋의 부족, 특히 물체 다양성과 작업 다양성 측면에서 문제를 해결하기 위해.
• 학습 프레임워크에 물체와 작업의 의미 지식을 통합하여 로봇 기립의 일반화 갭을 극복하기 위해.
• 구조화된 의미적 추론을 통해 새로운 물체 인스턴스, 물체 클래스, 그리고 새로운 작업에 대해 강력한 제로샷 일반화를 가능하게 하기 위해.
• 자격 시험과 다수결 투표를 통한 품질 제어를 통해 아마존 메카니컬 터크를 활용한 3D 작업 중심 기립의 인간 레이블링 데이터 수집을 스케일링하기 위해.
• 미리 알지 못한 물체를 사용하여 물리적 로봇에서 작업 중심 기립을 수행함으로써 실제 적용 가능성을 입증하기 위해.

제안 방법

• TaskGrasp 데이터셋은 아마존 메카니컬 터크를 통해 수집되었으며, 두 단계의 레이블링 파이프라인을 사용한다: 먼저 각 물체에 대해 작업의 적합성을 평가하고, 그 다음 유효한 작업-물체 쌍에 대해 6-DOF 기립을 레이블링한다.
• 3D 레이블링의 모호성을 줄이기 위해 RGB-D 포인트 클라우드와 여러 2D 시각화 자료를 사용하여 2D 인터페이스에서의 3D 레이블링을 수행한다.
• WordNet을 사용하여 물체와 작업 간의 계층적 및 관계적 의미를 표현하는 지식 그래프를 구축한다 (예: 머그 → 컨테이너 → 도구성 → 실체).
• GCNGrasp는 지식 그래프를 추론하기 위해 그래프 컬러이션 네트워크(GCN)를 사용하며, 물체의 포인트 클라우드 특징과 사전 훈련된 언어 모델의 작업 임베딩을 융합한다.
• 모델은 다중 시점 포인트 클라우드 표현을 사용하고, 작업별 기립 예측을 엔드 투 엔드로 학습하며, 의미적 사전 지식이 일반화를 향상시킨다.
• 레이블 품질은 자격 시험과 각 기립에 대해 3명의 레이블러가 중복 레이블링한 후 다수결 투표를 통해 확보된다.

실험 결과

연구 질문

• RQ1 대규모이고 다양한 작업 중심 기립 데이터셋이 안정적인 기립을 넘어서 일반화 성능을 향상시킬 수 있는가?
• RQ2 지식 그래프와 사전 훈련된 워드 임베딩에서 유도된 의미 지식이 새로운 물체와 작업으로의 제로샷 일반화에 얼마나 효과적으로 기여하는가?
• RQ3 물체와 작업 간의 구조화된 의미 관계를 통합할 경우, 보류된 설정에서 기립 정책 성능이 얼마나 향상되는가?
• RQ4 자격 시험과 다수결 투표를 통한 품질 제어 메커니즘을 활용해, 인력 기반의 커뮤니티를 통해 대규모로 3D 기립 데이터를 신뢰성 있게 수집할 수 있는가?
• RQ5 학습된 기립 정책이 미세조정 없이도 실제 환경에서 알려지지 않은 물체에 대해 일반화할 수 있는가?

주요 결과

• TaskGrasp 데이터셋은 191개의 실제 물체와 56개의 고유한 작업을 포함해 총 25만 건의 작업 중심 기립을 포함하며, 이는 이전 데이터셋 대비 스케일과 다양성에서 10배 이상 향상된 것이다.
• GCNGrasp는 의미 지식을 사용하지 않는 기반 모델 대비 보류된 작업에서 12%p의 절대적 향상과 보류된 물체 클래스에서 3.5%p의 향상을 달성한다.
• WordNet 기반 계층과 사전 훈련된 워드 임베딩을 활용한 지식 그래프의 사용은 특히 제로샷 설정에서 일반화 성능을 크게 향상시킨다.
• 자격 시험과 3명의 레이블러가 중복 레이블링하는 파이프라인은 높은 레이블 일관성을 달성했으며, 레이블 일관성은 3명의 레이블러에서 포화 상태에 도달한다.
• 이 프레임워크는 새로운 물체 인스턴스와 클래스로의 일반화에 성공했으며, 실제 로봇 배포를 통해 시뮬레이션 외부에서도 적용 가능성을 확인했다.
• 제거 실험을 통해 의미 지식이 일반화에 필수적임을 확인했으며, 의미 지식이 없는 모델은 본 적 없는 데이터를 넘어선 일반화에 실패한다.