[논문 리뷰] Hand-Object Contact Consistency Reasoning for Human Grasps Generation

Hanwen Jiang, Shaowei Liu외 2명|arXiv (Cornell University)|2021. 04. 07.

Robot Manipulation and Learning참고 문헌 49인용 수 6

한 줄 요약

이 논문은 수동-물체 접촉 일관성을 강제하여 3D 물체에 대해 자연스럽고 안정적인 인간의 잡는 자세를 생성하는 새로운 프레임워크를 제안한다. CVAE 기반의 그립 생성기와 접촉 맵 예측기로 구성된 이중 네트워크 아키텍처를 도입하며, 테스트 시간에 자기지도 학습을 통한 적응을 통해 미리 보지 못한 도메인 외의 물체에 대한 일반화 성능을 향상시켜, 그립 품질과 안정성에서 최신 기술 수준을 달성한다.

ABSTRACT

While predicting robot grasps with parallel jaw grippers have been well studied and widely applied in robot manipulation tasks, the study on natural human grasp generation with a multi-finger hand remains a very challenging problem. In this paper, we propose to generate human grasps given a 3D object in the world. Our key observation is that it is crucial to model the consistency between the hand contact points and object contact regions. That is, we encourage the prior hand contact points to be close to the object surface and the object common contact regions to be touched by the hand at the same time. Based on the hand-object contact consistency, we design novel objectives in training the human grasp generation model and also a new self-supervised task which allows the grasp generation network to be adjusted even during test time. Our experiments show significant improvement in human grasp generation over state-of-the-art approaches by a large margin. More interestingly, by optimizing the model during test time with the self-supervised task, it helps achieve larger gain on unseen and out-of-domain objects. Project page: https://hwjiang1510.github.io/GraspTTA/

연구 동기 및 목표

• 복잡한 손-물체 상호작용을 가진 3D 물체에 대해 자연스럽고 물리적으로 타당한 인간의 그립을 생성하는 과제를 해결하기 위해.
• 예측된 손의 접촉 지점과 물체의 접촉 영역 간 상호 일관성을 모델링하여 그립의 현실감과 안정성을 향상시키기 위해.
• 손과 물체의 접촉 예측 간 자기지도 학습 기반 일관성을 활용하여 지도 없이도 테스트 시간에 적응할 수 있도록 하기 위해.
• 추론 중에 온라인으로 적응적 개선을 수행함으로써, 도메인 외부 또는 미리 보지 못한 물체에 대한 일반화 성능을 향상시키기 위해.

제안 방법

• 3D 물체 포인트 클라우드를 조건으로 하여 MANO 손 파라미터를 생성하는 조건부 변동 자동차ncoder(CVAE)을 훈련하며, 손이 물체 표면에 가까이 오도록 하는 새로운 손실 함수와 실제 접촉 영역과의 정렬을 강제하는 손실 함수를 도입한다.
• 생성된 손 자세와 물체 기하학적 구조에서 물체의 접촉 맵을 예측하기 위해 별도의 ContactNet을 훈련하며, 이는 테스트 시간 적응을 위한 감독 신호를 제공한다.
• 테스트 시간 적응 중에 예측된 손의 접촉 지점과 ContactNet이 생성한 물체의 접촉 맵 간 일관성을 확보하기 위해 자기지도 학습 기반 일관성 손실을 도입한다.
• 손실을 기반으로 테스트 시간에 실시간으로 그립 생성기를 미세조정함으로써, 외부 감독 없이도 각 테스트 인스턴스에 대해 동적 개선이 가능한 온라인 테스트 시간 적응(TTA)을 수행한다.
• 이 프레임워크는 오프라인 및 온라인 TTA 버전을 모두 지원하며, 계속적인 최적화를 통해 온라인 TTA가 더 뛰어난 성능을 보여준다.
• 훈련과 추론 단계에서 손과 물체의 접촉 간 상호 일관성을 활용하여 안정성 향상과 침투 감소를 도모한다.

Figure 2: The different usage of proposed networks in training and testing. Left : During training, the two networks learn generating human grasps and predicting object contact map separately on ground truth data. Right : At test-time, the two networks are unified in a cascade manner. A initial gras

실험 결과

연구 질문

• RQ1 손-물체 접촉 일관성을 어떻게 모델링할 수 있을까? 이를 통해 생성된 인간의 그립의 현실감과 안정성을 어떻게 향상시킬 수 있을까?
• RQ2 접촉 일관성에 기반한 자기지도 학습 태스크가, 새로운 또는 도메인 외의 물체에 대해 효과적인 테스트 시간 적응을 가능하게 할 수 있는가?
• RQ3 손의 접촉 지점과 물체의 접촉 영역 간 상호 일치를 강제함으로써, 제로샷 및 크로스 도메인 설정에서의 일반화 성능에 어떤 영향을 미치는가?
• RQ4 온라인 대비 오프라인 테스트 시간 적응이 그립 품질과 침투 제어에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 기존 최신 기술 대비 특히 새로운 도메인 외의 물체에서 그립 생성 품질을 크게 향상시킨다.
• 온라인 테스트 시간 적응(TTA)이 가장 큰 성능 향상을 보이며, 침투 깊이를 감소시키고 접촉 비율을 높이며 동시에 낮은 시뮬레이션 이동 거리를 유지한다.
• 지상 진실 레이블 없이도 자기지도 학습 기반 일관성 태스크가 효과적인 적응을 가능하게 하여, 새로운 입력에 대해 더 안정적이고 자연스러운 그립을 생성한다.
• 훈련 단계에서 접촉 일관성 제약 조건을 적용함으로써, 손-물체의 침투가 감소하고 접촉 분포가 더 우수한 물리적으로 타당한 그립이 생성된다.
• HO-3D 및 FPHA 데이터셋에서, 기준 모델을 초월하거나 지상 진실 수준에 도달하거나 이를 초월하는 안정성과 침투 균형을 확보한다.
• 온라인 TTA 버전이 오프라인 대비 뛰어난 성능을 보이며, 추론 중 지속적인 최적화의 이점을 입증한다.

Figure 3: The architecture of GraspCVAE. (a) In training, it takes both hand-object as input to predict a hand mesh for grasping the object in a hand reconstruction manner using both of its encoder-decoder ; (b) At test-time, its decoder generates grasps by conditioning only on object information as