[논문 리뷰] Where2Explore: Few-shot Affordance Learning for Unseen Novel Categories of Articulated Objects

Chuanruo Ning, Ruihai Wu외 3명|arXiv (Cornell University)|2023. 09. 14.

Robot Manipulation and Learning인용 수 6

한 줄 요약

이 논문은 지오메트릭 유사도를 다양한 카테고리 간에 활용하여, 새로운 종류의 구조적 물체를 효율적으로 탐색하고 조작할 수 있도록 돕는 few-shot 접근법인 Where2Explore를 제안한다. 유사도 네트워크를 통해 저유사도이면서 고불확실성 영역을 식별함으로써, 최소한의 타겟팅된 상호작용을 유도하여 동일 카테고리 내 새로운 인스턴스로의 빠른 일반화를 가능하게 하며, 전체 데이터의 0.3%만을 사용하여도 전체 데이터 학습 성능과 유사한 성능을 달성한다.

ABSTRACT

Articulated object manipulation is a fundamental yet challenging task in robotics. Due to significant geometric and semantic variations across object categories, previous manipulation models struggle to generalize to novel categories. Few-shot learning is a promising solution for alleviating this issue by allowing robots to perform a few interactions with unseen objects. However, extant approaches often necessitate costly and inefficient test-time interactions with each unseen instance. Recognizing this limitation, we observe that despite their distinct shapes, different categories often share similar local geometries essential for manipulation, such as pullable handles and graspable edges - a factor typically underutilized in previous few-shot learning works. To harness this commonality, we introduce 'Where2Explore', an affordance learning framework that effectively explores novel categories with minimal interactions on a limited number of instances. Our framework explicitly estimates the geometric similarity across different categories, identifying local areas that differ from shapes in the training categories for efficient exploration while concurrently transferring affordance knowledge to similar parts of the objects. Extensive experiments in simulated and real-world environments demonstrate our framework's capacity for efficient few-shot exploration and generalization.

연구 동기 및 목표

• 최소한의 실제 상호작용을 통해 새로운 종류의 구조적 물체 카테고리에 대해 로봇 조작 정책을 일반화하는 데 도전한다.
• 각 개별 물체에 대해 테스트 시점 상호작용이 필요한 비효율적인 인스턴스 수준 few-shot 학습의 문제를 해결한다.
• 다른 물체 카테고리 간 공유되는 국소 기하학적 특징(예: 손잡이, 가장자리)을 활용하여 교차 카테고리 일반화를 향상시킨다.
• 새로운 물체에서 불확실하지만 의미적으로 중요한 영역을 우선순위로 삼는 탐색 전략을 개발한다.
• 단지 몇 차례의 상호작용만으로도 새로운 카테고리의 새로운 인스턴스에 대해 뛰어난 일반화 성능을 달성한다.

제안 방법

• 프레임워크는 알려진 물체 카테고리에서 유도된 세밀한 의미적 및 기하학적 사전 지식을 포인트 수준의 조작 가능성 표현으로 코딩한다.
• 교차 카테고리 지도 학습 전략을 사용하여 분할된 훈련 데이터에서 새로운 물체 부위와 알려진 카테고리 간의 기하학적 유사도를 측정하기 위해 유사도 네트워크를 훈련한다.
• 시스템은 새로운 물체에서 저유사도 영역을 식별하여 상호작용의 고우선순위 영역으로 삼으며, 이는 불확실하지만 잠재적으로 중요한 조작 기능을 의미한다.
• 이러한 식별된 영역에서 소수의 상호작용을 통해 미세조정(fine-tuning)을 수행함으로써 동일 카테고리 내 새로운 인스턴스로의 전이를 가능하게 한다.
• 기하학적 유사도와 조작 가능성 예측을 통합한 프레임워크를 통해 효율적이고 교차 카테고리 기반의 few-shot 학습을 실현한다.
• 한정된 상호작용 예산(예: 5회 상호작용)을 가진 시뮬레이션 및 실제 환경에서 방법을 평가한다.

실험 결과

연구 질문

• RQ1 다른 물체 카테고리 간 기하학적 유사도를 활용하여 새로운 종류의 카테고리에 대해 효율적인 탐색을 이끌 수 있는가?
• RQ2 몇 차례의 상호작용 이후, few-shot 학습 프레임워크는 새로운 카테고리의 새로운 인스턴스로 조작 지식을 어떻게 일반화할 수 있는가?
• RQ3 카테고리 간 국소 기하학적 공통성(예: 손잡이, 가장자리)을 활용하면 랜덤 또는 비유사도 기반 전략 대비 탐색 효율성과 일반화 성능이 향상되는가?
• RQ4 몇몇 알려진 카테고리에서 훈련된 모델이 최소한의 실제 상호작용으로 완전히 새로운 카테고리에서 잘 작동할 수 있는가?

주요 결과

• 5회 상호작용 예산으로 Where2Explore는 새로운 머그 컵 인스턴스에서 39.5%의 성공률을 기록하여, No-explore(12.1%) 및 Explore-random(21.6%)와 같은 베이스라인 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 새로운 카테고리에서 당기기 조작 작업에서 Where2Explore는 41.6%의 F-score를 기록했으며, 최고의 베이스라인인 Explore-noSim(30.2%)를 초월했다.
• 밀고 다니기 작업에서는 Where2Explore가 35.4%의 F-score를 기록했고, No-explore는 20.6%, Explore-random은 28.8%였다.
• 전체 훈련 데이터의 0.3%만을 사용했음에도 불구하고, Where2Explore는 Full-data 베이스라인(47.9 F-score)과 유사한 성능을 달성하여 높은 데이터 효율성을 입증했다.
• 정성적 결과는 유사도 모듈이 불확실하지만 중요한 영역(예: 관절 한계, 새로운 손잡이)을 성공적으로 식별함으로써 실제 머그 컵에서도 효과적인 탐색이 가능하다는 것을 보여주었다.
• 탐색 이후 동일한 새로운 카테고리의 새로운 물체로도 일반화가 가능함을 확인하여, 초기 상호작용 집합을 초월한 지식 전이 능력을 입증했다.