[논문 리뷰] Learning Object Manipulation Skills via Approximate State Estimation from Real Videos

Vladimír Petrík, Makarand Tapaswi외 2명|arXiv (Cornell University)|2020. 11. 13.

Reinforcement Learning in Robotics참고 문헌 48인용 수 13

한 줄 요약

이 논문은 실시간 영상에서 2D 영상에서의 손과 물체의 거친 3D 상태를 미분 가능 렌더링과 최적화를 사용해 추정함으로써, 로봇 물체 조작 스킬을 학습하는 방법을 제안한다. 추정된 궤적은 강화학습에서 조밀한 보상 신호로 사용되며, 다양한 초기 상태에서 일반화하고 실제 로봇으로 성공적으로 전이되도록 한다. 다중 영상 시연는 9개의 액션에 대해 안정성과 성공률을 향상시킨다.

ABSTRACT

Humans are adept at learning new tasks by watching a few instructional videos. On the other hand, robots that learn new actions either require a lot of effort through trial and error, or use expert demonstrations that are challenging to obtain. In this paper, we explore a method that facilitates learning object manipulation skills directly from videos. Leveraging recent advances in 2D visual recognition and differentiable rendering, we develop an optimization based method to estimate a coarse 3D state representation for the hand and the manipulated object(s) without requiring any supervision. We use these trajectories as dense rewards for an agent that learns to mimic them through reinforcement learning. We evaluate our method on simple single- and two-object actions from the Something-Something dataset. Our approach allows an agent to learn actions from single videos, while watching multiple demonstrations makes the policy more robust. We show that policies learned in a simulated environment can be easily transferred to a real robot.

연구 동기 및 목표

• 비용이 많이 드는 전문가 원격 조작 없이도, 비정형 영상 시범에서 직접 로봇이 물체 조작 스킬을 학습할 수 있도록 하기 위해.
• 손과 물체의 거친 3D 상태 표현을 추정하여 2D 영상 관찰과 3D 정책 실행 간 격차를 메우기 위해.
• 정답 3D 애너테이션 없이도 실영상에서 거친 3D 상태 추정을 위한 확장 가능한 자기지도 학습 방법을 개발하기 위해.
• 다중 영상 시범과 교육과정 스타일 도메인 랜덤라이제이션을 통해 강력한 모방 학습을 가능하게 하기 위해.
• 실제 세계의 로봇 시스템으로 시뮬레이션에서 훈련된 정책를 최소한의 실제 세계 미세조정 없이 전이하기 위해.

제안 방법

• 2D 시각적 인식(손/물체 검출기, 세그멘테이션)과 미분 가능 렌더링을 조합하여 거친 3D 상태를 추정하는 최적화 기반 방법인 Real2Sim을 제안한다.
• 손을 실린더로, 물체를 상자로 표현하여 2D 영상 프레임에서 효율적인 3D 재구성 가능하게 한다.
• 렌더링된 영상과 관측된 영상 간의 차이를 최소화하기 위해 인지적 손실과 물리 기반 손실을 사용하여 3D 상태 궤적을 최적화한다.
• 추정된 3D 궤적에서 조밀한 보상 신호를 생성하여 시뮬레이션에서 강화학습 정책을 훈련시킨다.
• 자동 도메인 랜덤라이제이션을 교육과정 학습 전략으로 적용하여 물체 크기와 초기 그립퍼 위치를 다양화함으로써 정책 일반화를 향상시킨다.
• 하드웨어 제약으로 인해 이산적 그립퍼 제어를 사용하여 오프라인 궤적 생성과 수치 역기구학을 통해 훈련된 정책를 실제 로봇으로 전이한다.

실험 결과

연구 질문

• RQ1 로봇이 2D 영상만을 사용해 단일 영상 시범으로부터 단일 물체 조작 스킬을 학습할 수 있는가?
• RQ2 단일 시범 대비 다중 영상 시범을 통해 정책의 안정성이 향상되는가?
• RQ3 물체 크기와 초기 위치 기반 도메인 랜덤라이제이션이 정책 일반화와 성공률에 어떤 영향을 미치는가?
• RQ4 실제 세계의 미세조정 없이도 시뮬레이션에서 훈련된 정책를 실제 로봇으로 성공적으로 전이할 수 있는가?
• RQ5 복잡한 동작(밀기, 당기기, 놓기 등)을 위한 모방 학습을 이끄는 데 있어 거친 3D 상태 추정의 효과는 어떠한가?

주요 결과

• 다중 영상으로 훈련된 정책는 단일 영상로 훈련된 정책보다 유의미하게 높고 안정된 성공률를 기록했으며, 어려운 벤치마크에서 중앙값 성공률이 38%에서 83%로 상승했다.
• 제안된 다중 영상 보상 함수는 궤적을 통합적으로 최대화하는 베이스라인보다 우수했으며, '뒤에 놓기' 동작에서 88%의 성공률를 기록했고, 동일한 동작에서 베이스라인은 82%였다.
• 어려운 벤치마크에서 '오른쪽에서 왼쪽으로 밀기' 동작에서 72%의 성공률, '왼쪽에서 오른쪽으로 밀기' 동작에서 85%의 성공률를 기록하여 초기 상태에 대한 강력한 일반화 능력을 입증했다.
• 본 방법은 실시간 제어가 제한된 실로프라 파인카 에미카 파나드 로봇으로 정책을 성공적으로 전이했으며, 오프라인 궤적 생성과 역기구학을 통해 실행을 가능하게 했다.
• 실패 사례는 주로 초기 위치가 가까울 경우 그립퍼-물체 충돌로 인한 것으로, 더 나은 충돌 인식 계획이 필요함을 시사했다.
• 어려운 벤치마크에서 단일 영상 정책의 평균 성공률는 56%였고, 다중 영상 정책는 73%였으며, 다중 시범으로 17%p 향상되었다.