[논문 리뷰] Physics-Based Dexterous Manipulations with Estimated Hand Poses and Residual Reinforcement Learning

Guillermo Garcia-Hernando, Edward Johns외 1명|arXiv (Cornell University)|2020. 08. 07.

Robot Manipulation and Learning참고 문헌 65인용 수 10

한 줄 요약

이 논문은 깊이 센서에서 유도된 노이즈가 있는 3D 손 자세 추정값을 보정하는 잔차 강화학습 프레임워크를 제안하여, VR 환경에서 물리 기반의 정교한 조작과 실외 환경에서의 운동 재구성에 기여한다. 물리 시뮬레이터에서 모델 자유형 강화학습 + 인식학습(Imitation Learning, IL) 에이전트를 훈련시켜 작은 정밀한 관절 보정을 적용함으로써, 이 방법은 '주스倒기' 작업에서 93%, '동전 전달' 작업에서 83.3%의 작업 성공률을 달성하였으며, 기존 기준 대비 유의하게 뛰어나며 입력 자세와 물리적으로 타당한 가상 운동 간 격차를 좁혔다.

ABSTRACT

Dexterous manipulation of objects in virtual environments with our bare hands, by using only a depth sensor and a state-of-the-art 3D hand pose estimator (HPE), is challenging. While virtual environments are ruled by physics, e.g. object weights and surface frictions, the absence of force feedback makes the task challenging, as even slight inaccuracies on finger tips or contact points from HPE may make the interactions fail. Prior arts simply generate contact forces in the direction of the fingers' closures, when finger joints penetrate virtual objects. Although useful for simple grasping scenarios, they cannot be applied to dexterous manipulations such as in-hand manipulation. Existing reinforcement learning (RL) and imitation learning (IL) approaches train agents that learn skills by using task-specific rewards, without considering any online user input. In this work, we propose to learn a model that maps noisy input hand poses to target virtual poses, which introduces the needed contacts to accomplish the tasks on a physics simulator. The agent is trained in a residual setting by using a model-free hybrid RL+IL approach. A 3D hand pose estimation reward is introduced leading to an improvement on HPE accuracy when the physics-guided corrected target poses are remapped to the input space. As the model corrects HPE errors by applying minor but crucial joint displacements for contacts, this helps to keep the generated motion visually close to the user input. Since HPE sequences performing successful virtual interactions do not exist, a data generation scheme to train and evaluate the system is proposed. We test our framework in two applications that use hand pose estimates for dexterous manipulations: hand-object interactions in VR and hand-object motion reconstruction in-the-wild.

연구 동기 및 목표

• 침입적 하드웨어 없이 깊이 센서와 3D 손 자세 추정기(HPE)만을 사용하여 물리 기반의 현실적인 정교한 손-물체 상호작용을 가상 환경에서 가능하게 하기 위해.
• 물리 시뮬레이션에서 자세 추정 오차와 힘 피드백 부족으로 인한 복잡한 조작 작업 실패 문제를 해결하기 위해.
• HPE 정확도를 향상시키고 입력 운동과의 视覚 유사성을 유지하면서도, 작업 성공률을 높이는 잔차 보정 메커니즘을 개발하기 위해.
• 자세 보상 함수를 활용한 하이브리드 RL+IL 접근법을 통해 다양한 정교한 조작 작업에 일반화 가능한 정책을 훈련하기 위해.
• 엔드 투 엔드 시뮬레이션 기반 학습을 통해 노이즈가 있는 사용자 입력 자세와 물리적으로 타당한 가상 손 운동 간 도메인 갭을 줄이기 위해.

제안 방법

• 노이즈가 있는 HPE 출력값을 물리적으로 타당한 목표 자세로 개선하기 위해, 물리 시뮬레이터 내에서 모델 자유형 강화학습 설정에서 잔차 에이전트를 훈련시킨다.
• 강화학습과 적대적 인식학습(IL)을 결합하여, 판별기(discriminator)를 활용해 정책이 전문 모션 캡처 트래잭터리와 유사한 운동을 생성하도록 유도한다.
• 가상 손 자세와 입력 RGBD 이미지 간 재투영 오차를 최소화하기 위해, 새로운 3D 손 자세 추정 보상 함수를 도입하여 HPE 정확도를 향상시킨다.
• 모션 캡처 데이터와 공개된 손 자세 데이터셋을 조합하여 훈련 시퀀스를 합성하는 데이터 생성 기법을 제안하여, 실제 세계 상호작용 데이터 없이도 지도 학습 및 평가가 가능하게 한다.
• 사용자 입력 자세를 역운동학 함수를 통해 가상 손 모델로 매핑한 후, 작은 잔차 보정을 적용하여 접촉이 많은 상호작용을 달성한다.
• 이 프레임워크는 동일한 정책을 적용하여 실시간 VR 상호작용 및 실외 운동 재구성 두 가지 환경에서 평가된다.

실험 결과

연구 질문

• RQ1 잔차 RL 에이전트는 노이즈가 있는 3D 손 자세 추정값을 효과적으로 보정하여 시뮬레이션 내에서 물리 기반의 정교한 조작을 성공적으로 수행할 수 있는가?
• RQ2 자세 추정 보상 함수를 통합함으로써, 보정된 가상 손 자세의 시각적 정밀도와 입력 자세에 대한 정확도는 어떻게 향상되는가?
• RQ3 하이브리드 RL+IL 접근법은 복잡한 조작 작업에서 순수 인식 기반 또는 힌트 기반 휴리스틱 기반 기준 대비 얼마나 뛰어나게 성능을 냈는가?
• RQ4 매우 민감한 자세 오차에 의존하는 정교한 작업(예: '주스倒기' 대비 '동전 전달') 간에 프레임워크가 일반화 가능한가?
• RQ5 합성 데이터 생성 기법은 실세계 구현 시나리오에서 훈련 성능과 테스트 성능 간 격차를 어떻게 줄일 수 있는가?

주요 결과

• 제안된 방법은 테스트 세트에서 '주스倒기' 작업에서 93.0%의 작업 성공률, '동전 전달' 작업에서 83.3%의 성공률를 기록하였으며, 다음 기준인 '손을 감는다' 기준(55.0% 및 38.0%)보다 유의미하게 뛰어나다.
• 자세 보상이 적용된 경우, '동전 전달' 테스트 세트에서 3D 손 자세 오차(E_pose)는 33.15 mm로 줄었고, '손을 감는다' 기준 대비 35.46 mm보다 낮게 유지되었다.
• '주스倒기' 테스트 세트에서 불안정성 발생 이전 평균 시퀀스 길이(T̄)는 총 길이의 59.6%에 도달하였으며, '손을 감는다' 기준(47.0%)과 IK 기준(24.8%)을 모두 초월하였다.
• '주스倒기' 훈련 세트에서 메서드는 T̄ 98.2%와 E_pose 25.43 mm를 달성하여, 정책의 강력한 일반화 능력과 훈련 중 안정성을 보여주었다.
• 제거 실험에서 자세 보상 기능을 제거할 경우 성능 저하가 발생하여, 입력 자세와의 시각적 유사성을 유지하는 데서 자세 보상의 핵심적 역할을 확인하였다.
• '동전 전달' 작업에서 과적합 우려가 있었음에도 불구하고, 훈련 세트에서 80.0%의 성공률, 테스트 세트에서 83.3%의 성공률를 기록하여, 높은 정밀도 요구 과제에 대한 강건성을 입증하였다.