[논문 리뷰] Learning Dexterous In-Hand Manipulation

OpenAI, Andrychowicz, Marcin외 15명|arXiv (Cornell University)|2018. 08. 01.

Robot Manipulation and Learning참고 문헌 65인용 수 277

한 줄 요약

간단 요약: 논문은 Shadow Hand를 사용한 시각 기반의 메모리 강화 강화 학습 정책을 무작위 시뮬레이터에서 학습시켜 손 안에서 물체를 미세하게 재배치하는 능력을 얻고, 이를 인간 시범 없이 실제 로봇으로 이전한다.

ABSTRACT

We use reinforcement learning (RL) to learn dexterous in-hand manipulation policies which can perform vision-based object reorientation on a physical Shadow Dexterous Hand. The training is performed in a simulated environment in which we randomize many of the physical properties of the system like friction coefficients and an object's appearance. Our policies transfer to the physical robot despite being trained entirely in simulation. Our method does not rely on any human demonstrations, but many behaviors found in human manipulation emerge naturally, including finger gaiting, multi-finger coordination, and the controlled use of gravity. Our results were obtained using the same distributed RL system that was used to train OpenAI Five. We also include a video of our results: https://youtu.be/jwSbzNHGflM

연구 동기 및 목표

• 완전히 시뮬레이션 학습을 통해 물리적 로봇에서 시각 기반의 손 안 조작을 시연한다.
• 광범위한 무작위화와 메모리 강화 정책이 시뮬레이션에서 현실로의 이전을 가능하게 한다는 것을 보여준다.
• 마커 없이 배치를 위한 시뮬레이션에서만 학습된 시각 기반 물체 자세 추정기를 개발한다.
• 무작위화와 메모리의 중요성을 평가하여 강건한 이전 달성에 미치는 영향을 분석한다.
• 분산 RL 시스템의 샘플 복잡도와 손재주 정책 학습의 확장성을 분석한다.

제안 방법

• Shadow Hand가 물체를 조작하는 MuJoCo 시뮬레이션의 분포에 대해 PPO를 사용하여 메모리 강화 순환 신경망(LSTM)으로 제어 정책을 학습한다.
• 학습의 용이성을 위해 각 관절별로 동작을 11개 구간으로 이산화한다.
• 가치 네트워크가 실제 로봇에서 이용할 수 없는 추가(시뮬레이션된) 정보를 접근하는 비대칭적 배우-비평가 설정을 사용한다.
• 에피소드 간에 마찰 계수, 질량, 중력 등 물리 매개변수를 무작위화하여 도메인 차이를 줄이고(도메인 무작위화) 학습한다.
• 실제 로봇에서 시각 기반 상태 추정을 가능하게 하도록 3개의 RGB 카메라 뷰로 물체 자세를 예측하는 합성 렌더링에서 학습된 별도 비전 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 도메인 무작위화가-heavy하게 적용된 전적으로 시뮬레이션에서 학습된 정책이 다섯 손가락의 악수 손 재배치 작업을 실제에서 수행하는 데 이전될 수 있는가?
• RQ2 메모리, 관찰 무작위화, 물리 무작위화가 성공적인 이전에 어떤 역할을 하는가?
• RQ3 합성 데이터만으로 학습된 시각 기반 자세 추정기가 실제 환경 운영에 충분한가?
• RQ4 분산 RL 학습으로 시스템이 어떻게 확장되며 메모리가 성능에 미치는 영향은 무엇인가?
• RQ5 인간 시범 없이 학습한 결과로 어떤 그립과 조작 전략이 나타나는가?

주요 결과

작업	평균	중간값	개별 실험(정렬)
Block (state)	43.4±13.8	50	-
Block (state, locked wrist)	44.2±13.4	50	-
Block (vision)	30.0±10.3	33	-
Octagonal prism (state)	29.0±19.7	30	-
Block (state) (physical)	18.8±17.1	13	50, 41, 29, 27, 14, 12, 6, 4, 4, 1
Block (state, locked wrist) (physical)	26.4±13.4	28.5	50, 43, 32, 29, 29, 28, 19, 13, 12, 9
Block (vision) (physical)	15.2±14.3	11.5	46, 28, 26, 15, 13, 10, 8, 3, 2, 1
Octagonal prism (state) (physical)	7.8±7.8	5	27, 15, 8, 8, 5, 5, 4, 3, 2, 1

• 정책은 인간과 유사한 그립 및 손가락 보행, 다손가의 협응, 중력 인식 조작 등의 손재주 있는 행동을 시연한다.
• 광범위한 무작위화를 통해 실제 Shadow Hand로의 이전이 가능하지만, 현실 세계의 성능은 현실 차이로 인해 시뮬레이션보다 낮다.
• 시뮬레이션에서 학습된 시각 기반 자세 추정은 실제 하드웨어에서 마커 기반 자세 추정에 가까운 성능으로 정책을 구동하는 데 사용할 수 있다.
• 메모리 기반 정책(LSTM)은 비메모리 정책에 비해 이전 및 성능을 크게 향상시킨다.
• 시스템은 분산 RL에서 확장되며 더 많은 GPU/CPU를 사용할수록 상당한 속도 향상을 달성하고, 메모리 강화 정책이 비메모리 버전보다 물리 로봇에서 더 나은 성능을 보인다.