[논문 리뷰] Learning Generalizable Dexterous Manipulation from Human Grasp Affordance

Yueh-Hua Wu, Jiashun Wang외 1명|arXiv (Cornell University)|2022. 04. 05.

Robot Manipulation and Learning인용 수 11

한 줄 요약

이 논문은 인체의 손잡이 가능성을 모델링한 ILAD를 제안한다. 이 방법은 대규모이고 다양한 시연 데이터를 생성하여 유연한 조작 정책을 훈련하는 데 활용한다. PointNet 기반 기하 구조 표현 학습과 새로운 타깃 학습 목표를 결합함으로써, 시뮬레이션 환경에서 새로운 물체에 대해 뛰어난 일반화 성능을 달성하며, 기존의 기준보다 훨씬 높은 성능을 보인다.

ABSTRACT

Dexterous manipulation with a multi-finger hand is one of the most challenging problems in robotics. While recent progress in imitation learning has largely improved the sample efficiency compared to Reinforcement Learning, the learned policy can hardly generalize to manipulate novel objects, given limited expert demonstrations. In this paper, we propose to learn dexterous manipulation using large-scale demonstrations with diverse 3D objects in a category, which are generated from a human grasp affordance model. This generalizes the policy to novel object instances within the same category. To train the policy, we propose a novel imitation learning objective jointly with a geometric representation learning objective using our demonstrations. By experimenting with relocating diverse objects in simulation, we show that our approach outperforms baselines with a large margin when manipulating novel objects. We also ablate the importance on 3D object representation learning for manipulation. We include videos, code, and additional information on the project website - https://kristery.github.io/ILAD/ .

연구 동기 및 목표

• 훈련 중에 볼 수 없었던 새로운 물체 유형으로의 다이너믹 조작 정책 일반화 문제를 해결한다.
• 모방 학습에서의 소규모 인간 시연의 한계를 극복하기 위해 인간의 손잡이 가능성을 모델링한 방법을 활용해 대규모이고 다양한 시연 데이터를 생성한다.
• 점군 입력을 기반으로 한 정책 학습과 3차원 기하 구조 표현 학습을 동시에 최적화하여 정책의 일반화 능력을 향상시킨다.
• 새로운 모방 학습 목표와 표현 미세조정을 통해 시뮬레이션에서 새로운 물체를 효율적이고 견고하게 조작할 수 있도록 한다.
• 인간과 유사한 손잡이 시연가 새로운 물체에서 정책의 성공률 향상에 기여하는지를 입증한다.

제안 방법

• 동일한 카테고리에 속하는 다양한 3차원 물체들에 대해 인간의 손잡이 가능성을 모델링한 방법을 활용해 대규모의 다이너믹 조작 시연 데이터를 생성한다.
• 예측된 손잡이 자세를 기반으로 운동 계획을 수행하여 전체 로봇 궤적의 시연 데이터로 변환함으로써 인간과 유사한 움직임을 시뮬레이션한다.
• 정책의 신뢰도를 기반으로 시연 데이터를 순위 매기고, 높은 이득을 보이는 상태-행동 쌍에 대해 동적으로 가중치를 적용하는 새로운 모방 학습 목표를 사용해 정책을 훈련한다.
• PointNet 기반의 물체 점군 표현을 사전 학습 및 미세조정하기 위한 행동 복제 목표와 함께 정책을 동시에 최적화한다.
• 정책이 상호작용 중에 수집한 새로운 데이터로 업데이트되는 커리큘럼 스타일의 훈련 전략을 도입하여 지속적인 표현 개선을 가능하게 한다.
• 목표 손잡이 자세에 가까운지를 판단하는 임계값 기반의 계획 평가 지표(δ)를 사용하여 시연 품질과 정책 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 인간의 손잡이 가능성을 기반으로 생성된 대규모이고 다양한 시연 데이터가 다이너믹 조작의 일반화 능력에 크게 기여하는가?
• RQ2 정책의 낮은 신뢰도를 가진 시연 데이터에 우선순위를 두는 새로운 모방 학습 목표가 균일한 가중치 적용 방식보다 정책의 일반화 능력을 어떻게 향상시키는가?
• RQ3 시연 데이터에 기반해 미세조정된 PointNet 기반 기하 구조 표현 학습이 새로운 물체에 대한 제로샷 성능 향상에 어느 정도 기여하는가?
• RQ4 시연 생성 과정에 손잡이 자세 정보를 포함시키는 것이 정책의 성공률과 행동의 자연스러움에 어떤 영향을 미치는가?
• RQ5 시연의 품질과 자연스러움이 정책이 새로운 물체 유형으로 일반화하는 능력에 어떤 영향을 미치는가?

주요 결과

• ILAD는 볼 품목에 대해 0.95 ± 0.03의 성공률을 기록하며, 이는 다음으로 높은 기준인 0.71 ± 0.15보다 뚜렷이 높은 성능이다.
• 절단 분석 결과, 손잡이 자세 정보가 없는 시연 데이터를 사용한 경우 성공률는 단지 0.01 ± 0.01에 그쳐 손-물체 상호작용을 모델링하는 것이 중요함을 시사한다.
• 임계값 δ = 0.06과 함께 손잡이 자세 정보를 활용할 경우, 새로운 볼에 대해 0.65 ± 0.24의 성공률를 달성하여 정밀한 손잡이 계획의 가치를 입증한다.
• Mechanical Turk에서 실시한 사용자 연구 결과, 참가자 71%가 생성된 시연가 더 자연스럽다고 평가하여 인간과 유사한 행동의 향상이 확인되었다.
• 모방 학습과 표현 학습을 동시에 수행하는 통합 학습(JL) 방식이 모든 카테고리에서 가장 높은 성공률를 기록하여 두 구성 요소 간의 상호보완성이 확인되었다.
• 학습 곡선 분석 결과, 모든 방법이 훈련용 물체에서는 유사한 성능를 보였지만, ILAD만이 새로운 물체에 대해서도 뛰어난 성능유지가 가능하여 뛰어난 일반화 능력을 입증하였다.