[논문 리뷰] Learning Arbitrary-Goal Fabric Folding with One Hour of Real Robot Experience

Robert Lee, Daniel L. Ward외 4명|arXiv (Cornell University)|2020. 10. 07.

Robot Manipulation and Learning인용 수 23

한 줄 요약

이 논문은 인간의 지시 없이 시뮬레이션이나 보상 설계 없이, 오직 1시간의 자기지도 학습 기반 실세계 경험만으로도 다양한 목표를 가진 천을 접는 데 성공하는 샘플 효율적이고 목표 조건부 강화학습 방법을 제안한다. 이 방법은 이산화된 접기 동작과 후행 경험 재편성(Hindsight Experience Replay)을 사용하는 완전 컨볼루션 신경망 기반의 딥 Q-네트워크를 통해 시각적 관찰만으로도 새로운 접기 작업에 대해 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Manipulating deformable objects, such as fabric, is a long standing problem in robotics, with state estimation and control posing a significant challenge for traditional methods. In this paper, we show that it is possible to learn fabric folding skills in only an hour of self-supervised real robot experience, without human supervision or simulation. Our approach relies on fully convolutional networks and the manipulation of visual inputs to exploit learned features, allowing us to create an expressive goal-conditioned pick and place policy that can be trained efficiently with real world robot data only. Folding skills are learned with only a sparse reward function and thus do not require reward function engineering, merely an image of the goal configuration. We demonstrate our method on a set of towel-folding tasks, and show that our approach is able to discover sequential folding strategies, purely from trial-and-error. We achieve state-of-the-art results without the need for demonstrations or simulation, used in prior approaches. Videos available at: https://sites.google.com/view/learningtofold

연구 동기 및 목표

• 인간의 지시 없이, 시뮬레이션 없이, 보상 설계 없이 실세계에서의 천 접기 작업을 가능하게 하기 위해.
• 모든 알려지지 않은 목표 구성에 대해 일반화 가능한 샘플 효율적인 강화학습 방법을 개발하기 위해.
• 재학습 없이도 테스트 시에 더 높은 해상도의 동작 공간에 일반화할 수 있도록 하기 위해.
• 단순한 시행착오를 통해 희박한 시각적 보상만으로도 복잡하고 순차적인 접기 전략이 자동으로 유도될 수 있는지 검증하기 위해.

제안 방법

• 이 방법은 RGB 이미지를 처리하고 목표 조건부의 픽업-플레이스 동작을 예측하기 위해 완전 컨볼루션 신경망을 사용한다.
• 샘플 효율성을 높이기 위해 접기 동작을 8개의 회전 범주와 3개의 스케일 범주로 이산화함으로써 표현력은 유지한다.
• 희박한 보상 함수를 사용하며, 에이전트는 현재 이미지가 목표 이미지와 정확히 일치할 때만 조밀한 희박한 보상을 받는다.
• 후행 경험 재편성(Hindsight Experience Replay, HER)을 적용하여 달 достиг은 목표로 전이를 재라벨링함으로써 희박한 보상에서 효율적으로 학습할 수 있도록 한다.
• 로봇은 무작위 상호작용을 통해 자율적으로 1시간의 실세계 상호작용 데이터를 수집하여 자기지도 학습 데이터셋을 구성한다.
• 학습된 정책는 재학습 없이도 테스트 시에 더 높은 해상도의 동작 공간으로 일반화할 수 있도록 이산화 범주 수를 늘림으로써 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 로봇은 오직 1시간의 실세계 자기지도 학습 경험만으로도 복잡하고 순차적인 천 접기 작업을 학습할 수 있는가?
• RQ2 시각 기반의 목표 조건부 정책이 인간의 지시 없이도 시뮬레이션 없이도 알려지지 않은 목표 구성에 일반화될 수 있는가?
• RQ3 희박한 시각적 보상만으로도 시행착오를 통해 복잡한 접기 전략을 효과적으로 학습할 수 있는가?
• RQ4 재학습 없이도 테스트 시에 더 높은 해상도의 동작 공간으로 일반화할 수 있는가?
• RQ5 인간의 지시나 시뮬레이션-실세계 전이에 의존하는 이전 방법들과 비교해 본다면, 이 방법은 어떤가?

주요 결과

• 간단한 접기 작업 3종(작은 안쪽 접기, 이중 안쪽 접기, 네 귀퉁이 안쪽 접기)에 대해 100% 성공률를 기록하며 무작위 기준보다 뛰어난 성능을 보였다.
• 더 복잡한 작업인 이중 직선 접기와 이중 삼각 접기의 경우 각각 60%와 10%의 성공률를 기록하여, 직접 지시 없이도 순차적 동작을 유추할 수 있음을 입증했다.
• 학습 중에 존재하지 않았던 더 정밀한 제어가 필요한 작업에 대해 더 높은 해상도의 동작 공간으로 일반화하여 정확도가 향상됨을 확인했다.
• 접힌 부분의 겹침을 줄이기 위해 작은 조정 동작을 수행하는 것을 통해, 모델이 천의 상태에 대해 내부적으로 추론하고 있음을 나타냈다.
• HER를 제거한 아블레이트된 기준 모델은 항상 실패했으며, 이는 희박한 보상에서 학습을 가능하게 하는 데 후행 경험 재편성의 핵심적 역할을 한다는 것을 보여주었다.
• 인간의 지시나 시뮬레이션을 요구하는 이전 방법들보다도 우수한 성능을 보였으며, 오직 실세계 데이터만으로도 최신 기술 수준의 결과를 달성했다.