[논문 리뷰] Task-Oriented Hand Motion Retargeting for Dexterous Manipulation Imitation

Dafni Antotsiou, Guillermo Garcia-Hernando외 1명|arXiv (Cornell University)|2018. 10. 03.

Robot Manipulation and Learning참고 문헌 32인용 수 6

한 줄 요약

이 논문은 인간 손의 움직임을 노이즈가 있는 자세 추정에서 29-DoF 인간형 손 모델로의 리타겟팅을 향상시키기 위해 역운동역학과 임무 중심 에너지 최소화를 결합한 하이브리드 입자군집최적화(PSO) 방법을 제안한다. 이 방법은 임무 목표를 최적화하여 그립 성공률을 높이며, 실제 인간의 시뮬레이션에서의 시연 데이터를 기반으로 한 강력한 이mitation 학습을 가능하게 한다.

ABSTRACT

Human hand actions are quite complex, especially when they involve object manipulation, mainly due to the high dimensionality of the hand and the vast action space that entails. Imitating those actions with dexterous hand models involves different important and challenging steps: acquiring human hand information, retargeting it to a hand model, and learning a policy from acquired data. In this work, we capture the hand information by using a state-of-the-art hand pose estimator. We tackle the retargeting problem from the hand pose to a 29 DoF hand model by combining inverse kinematics and PSO with a task objective optimisation. This objective encourages the virtual hand to accomplish the manipulation task, relieving the effect of the estimator's noise and the domain gap. Our approach leads to a better success rate in the grasping task compared to our inverse kinematics baseline, allowing us to record successful human demonstrations. Furthermore, we used these demonstrations to learn a policy network using generative adversarial imitation learning (GAIL) that is able to autonomously grasp an object in the virtual space.

연구 동기 및 목표

• 실시간으로 노이즈가 있는 인간 손 자세 추정을 고도로 자유도가 높은 인간형 손 모델로 리타겟팅하는 데 도전하는 문제를 해결하기 위해.
• 움직임 리타겟팅에 임무 특화 목표를 통합하여 그립 성공률을 향상시키고, 자세 추정 노이즈와 도메인 갭에 대한 민감도를 감소시키기 위해.
• 심층 카메라와 최신 수준의 손 자세 추정기로 전문가 시연 데이터를 신뢰성 있게 확보할 수 있도록 하여 이mitation 학습에 적합하게 하기 위해.
• 시뮬레이션에서 리타겟팅된 인간의 움직임을 사용하여 이mitation 정책을 훈련하기 위한 강력한 파ip라인을 개발하기 위해.

제안 방법

• 방법은 추정된 인간 관절 각도를 기반으로 29-DoF 모델에서 손 자세를 초기화하기 위해 역운동역학(IK)을 사용한다.
• 하이브리드 PSO 알고리즘이 자세 일관성과 임무 특화 목표를 포함한 복합 에너지 함수를 최소화함으로써 IK 해를 정밀하게 조정한다.
• 임무 목표 함수 $E_{task}$ 는 손가락과 대상 물체 간의 접촉을 장려하여 그립의 안정성과 성공률을 향상시킨다.
• 에너지 함수는 입자 위치가 손 구성 상태를 나타내고, 적합도 평가에 기반해 속도가 갱신되는 PSO를 사용하여 반복적으로 최적화된다.
• 최종적으로 리타겟팅된 궤적은 시뮬레이션에서 자율적인 그립을 위한 생성적 적대적 이mitation 학습(GAIL) 정책을 훈련하는 데 사용된다.
• GAIL 정책은 행동 클로닝으로 사전 훈련된 후, TRPO를 사용하여 궤적의 일관성과 일반화 능력을 향상시키기 위해 추가로 개선된다.

실험 결과

연구 질문

• RQ1 표준 역운동역학 대비 PSO를 통한 임무 중심 최적화가 리타겟팅된 손 움직임의 그립 작업 성공률을 상당히 향상시킬 수 있는가?
• RQ2 하이브리드 PSO-IK 접근법이 물체 조작 중 손 자세 추정기의 노이즈와 가림 현상을 다루는 데 얼마나 효과적인가?
• RQ3 심층 카메라에서 유도된 리타겟팅된 인간 시연 데이터가 이동성 있는 조작을 위한 일반화 가능한 이mitation 정책을 훈련하는 데 얼마나 활용될 수 있는가?
• RQ4 임무 에너지 함수의 다양한 가중치 매개변수는 그립 성능과 움직임의 자연스러움에 어떤 영향을 미치는가?

주요 결과

• 하이브리드 PSO 방법은 역운동역학 기반 베이스라인 대비 상당한 성과 향상을 보였으며, 최적의 매개변수 설정에서 성공 비율이 최대 40%까지 증가했다.
• 25개 입자와 25회의 반복을 사용할 경우 근사 최적의 성능를 달성했으며, 100회 이상의 반복이나 입자 수를 초과하면 수익 감소 현상이 나타났다.
• 임무 에너지 함수 $E_{task}$ 는 성공에 결정적인 역할을 했다: $\omega_{task} = 1$ 으로 설정했을 경우 중간 값보다 열악한 결과를 보였으며, 이는 임무와 자세 충실도 사이의 균형이 필수적임을 시사한다.
• GAIL 정책은 초기 조건이 관측된 경우 높은 성공률를 달성했지만, 초기 상태의 노이즈가 증가함에 따라 성능이 급격히 떨어졌으며, 일반화 능력의 한계를 드러냈다.
• 이 방법은 특수한 모션 캡처 시스템이 필요 없이 심층 카메라 입력에서부터 운동학적으로 타당하고 임무 성공적인 인간 시연 데이터를 직접 확보할 수 있도록 했다.
• 이 프레임워크는 실제 세계의 인간 운동 데이터를 사용하여 시뮬레이션 환경에서 이동성 있는 조작을 위한 엔드 투 엔드 이mitation 학습의 가능성을 입증했다.