[논문 리뷰] S3K: Self-Supervised Semantic Keypoints for Robotic Manipulation via Multi-View Consistency

Mel Vecerík, Jean-Baptiste Regli외 8명|arXiv (Cornell University)|2020. 09. 30.

Robot Manipulation and Learning참고 문헌 35인용 수 13

한 줄 요약

S3K는 다중 시야 일致성과 함께 자율 학습 방법을 도입하여 로봇 조작에서 정밀한 3D 의미 키포인트를 학습하며, 최소한의 인간 레이블링을 통해 1–5 mm의 정확도를 달성한다. 여러 카메라 시야 간의 기하학적 제약 조건을 활용함으로써, 객체와 작업 간에 일반화 가능한 맥락 인식 키포인트 검출기를 학습하며, 시뮬레이션 및 실제 환경 모두에서 정책 학습과 작업 성공률를 크게 향상시킨다.

ABSTRACT

A robot's ability to act is fundamentally constrained by what it can perceive. Many existing approaches to visual representation learning utilize general-purpose training criteria, e.g. image reconstruction, smoothness in latent space, or usefulness for control, or else make use of large datasets annotated with specific features (bounding boxes, segmentations, etc.). However, both approaches often struggle to capture the fine-detail required for precision tasks on specific objects, e.g. grasping and mating a plug and socket. We argue that these difficulties arise from a lack of geometric structure in these models. In this work we advocate semantic 3D keypoints as a visual representation, and present a semi-supervised training objective that can allow instance or category-level keypoints to be trained to 1-5 millimeter-accuracy with minimal supervision. Furthermore, unlike local texture-based approaches, our model integrates contextual information from a large area and is therefore robust to occlusion, noise, and lack of discernible texture. We demonstrate that this ability to locate semantic keypoints enables high level scripting of human understandable behaviours. Finally we show that these keypoints provide a good way to define reward functions for reinforcement learning and are a good representation for training agents.

연구 동기 및 목표

• 기존의 로봇 조작을 위한 시각적 표현에서 기하학적 구조의 부족으로 인해 抓취 및 플러그 삽입과 같은 작업에서 정밀도가 제한되는 문제를 해결하기 위해.
• 비용이 많이 드는 완전한 감독 또는 조밀한 레이블링에 의존하는 것을 줄이기 위해, 3D 의미 키포인트 검출을 위한 자율 학습 프레임워크를 도입하기 위해.
• 객체의 카테고리 간에 일반화 가능하고, 차폐 및 무문자 표면을 처리할 수 있으며, 고수준 작업 스크립팅을 지원하는 견고한 키포인트 검출기를 가능하게 하기 위해.
• 학습된 키포인트가 복잡한 조작 작업에서 효과적인 시각적 특징과 강화학습 보상 신호로 기능할 수 있음을 입증하기 위해.
• 성능이 라벨된 데이터뿐 아니라 총 데이터량(라벨된 + 라벨되지 않은 데이터)에 따라 증가함을 보여주어, 실생활 배포에 대해 데이터 효율적이고 실용적인 접근을 가능하게 하기 위해.

제안 방법

• 다중 시야 기하학을 자율 학습 신호로 활용: 모델은 여러 카메라 시야 간에 일致하는 3D 키포인트 위치를 예측한다.
• 작은 2D 키포인트 레이블링 세트(학습용 120장, 튜닝용 36장)와 대규모 라벨되지 않은 이미지 코퍼스를 결합하여 3D 키포인트 검출기를 훈련한다.
• 예측된 3D 키포인트의 다중 시야 간 기하학적 일치를 강제하기 위해 미분 가능한 다중 시야 일치 손실을 사용한다.
• RGB 이미지에서 의미 키포인트(예: 플러그 끝, 소켓 중심)의 3D 좌표를 출력하는 신경망 아키텍처를 활용한다.
• 키포인트 기반의 감독을 강화학습에 통합하기 위해, 키포인트 간 거리에 기반한 조밀하고 기하학적으로 의미 있는 보상 함수를 정의한다.
• 정적 환경에서 시간에 따라 기하학적 일치를 통해 레이블 전파를 적용함으로써, 완전한 감독 없이도 효율적인 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 다중 시야 일치가 최소한의 인간 레이블링 데이터를 사용하여 3D 의미 키포인트 검출기를 학습하는 자율 학습 신호로 사용될 수 있는가?
• RQ2 학습된 키포인트는 객체 카테고리 간, 예상치 못한 구성, 그리고 차폐 및 무문자 표면 변화가 있는 실제 환경 조건에서도 얼마나 잘 일반화되는가?
• RQ3 의미 키포인트가 로봇 조작에서 샘플 효율적인 강화학습 정책 훈련을 위한 효과적인 시각적 특징으로 기능할 수 있는가?
• RQ4 키포인트 검출기의 성능이 라벨된 데이터뿐 아니라 총 데이터량(라벨된 + 라벨되지 않은 데이터)에 따라 증가하는가?
• RQ5 키포인트 기반의 보상 함수는 케이블 삽입과 같은 복잡한 조작 작업에서 학습 효율성과 최종 작업 성공률를 향상시킬 수 있는가?

주요 결과

• S3K 모델은 라벨된 이미지 120장만으로도 3D 키포인트 검출에서 1–5 mm의 정확도를 달성하여, 최소한의 감독으로도 높은 정밀도를 입증한다.
• 케이블 삽입 작업에서, 키포인트 기반 에이전트는 3시간 이내에 95% 이상의 성공률를 기록했으며, VAE 기반 베이스라인에 비해 60% 이하에 머무르는 것과 비교해 뚜렷한 성능 향상을 보였다.
• 예상치 못한 자세에서의 다중 시야 검출 결과를 통해, 부드러운 장난감에 대해 새로운 구성에 대해 잘 일반화됨을 입증했다.
• 성능이 라벨된 데이터뿐 아니라 총 데이터 볼륨에 따라 증가함을 보여주어, 라벨되지 않은 데이터가 일반화 및 견고성 향상에 효과적으로 기여함을 시사한다.
• 키포인트 검출기는 노이즈와 부분적 차폐에 대해 견고하며, 훈련 중 키포인트 붕괴로 인한 잘못된 양성 결과가 관찰되지 않았다.
• 키포인트 표현은 간단한 기하학적 규칙을 사용해 장난감의 발로 들어 올리는 등의 인간이 이해할 수 있는 행동 스크립팅을 가능하게 한다.