[논문 리뷰] Asymmetric self-play for automatic goal discovery in robotic manipulation

OpenAI OpenAI, Matthias Plappert외 14명|arXiv (Cornell University)|2021. 01. 13.

Reinforcement Learning in Robotics참고 문헌 57인용 수 21

한 줄 요약

이 논문은 인간이 제공한 목표나 교육 과정 없이도 다양한 로봇 조작 작업을 탐색하고 해결할 수 있도록 단일 목표 조건화 정책을 가능하게 하기 위해 비대칭 자가대결을 제안한다. 두 에이전트—앨리스(도전적인 목표를 제안하는 에이전트)와 밥(목표를 해결하는 에이전트)—를 훈련시어, 교육 과정을 암묵적으로 생성함으로써 희박한 보상과 앨리스의 트레이젝터리에서의 행동 복제를 통해 unseen 작업, 예를 들어 블록 쌓기와 식탁 정리와 같은 작업에 제로샷 일반화를 가능하게 한다.

ABSTRACT

We train a single, goal-conditioned policy that can solve many robotic manipulation tasks, including tasks with previously unseen goals and objects. We rely on asymmetric self-play for goal discovery, where two agents, Alice and Bob, play a game. Alice is asked to propose challenging goals and Bob aims to solve them. We show that this method can discover highly diverse and complex goals without any human priors. Bob can be trained with only sparse rewards, because the interaction between Alice and Bob results in a natural curriculum and Bob can learn from Alice's trajectory when relabeled as a goal-conditioned demonstration. Finally, our method scales, resulting in a single policy that can generalize to many unseen tasks such as setting a table, stacking blocks, and solving simple puzzles. Videos of a learned policy is available at https://robotics-self-play.github.io.

연구 동기 및 목표

• 사전에 알려지지 않은 다양한 로봇 조작 작업을 해결할 수 있는 단일 목표 조건화 정책을 훈련시키는 것.
• 인간이 설계한 목표나 보상 형상화에 의존하지 않고 자동으로 다양한 도전적인 목표 분포를 생성함으로써 이를 제거하는 것.
• 목표 설정 에이전트의 트레이젝터리를 디모나션으로 활용하여 희박한 보상에서 효율적인 학습을 가능하게 하는 것.
• 다양한 물체와 구성이 포함된 복잡한 실제 세계 유사 조작 작업에 이 방법을 스케일링하는 것.
• 사전에 알려지지 않은 목표와 이전에 본 적 없는 물체를 포함한 보류된 작업에 대해 제로샷 일반화를 달성하는 것.

제안 방법

• 공유된 초기 상태를 가진 공유 로봇 환경에서 두 강화 학습 에이전트—앨리스(목표 설정자)와 밥(목표 해결자)—를 훈련시킨다.
• 앨리스는 환경 내 물체를 조작하여 목표를 제안하고, 밥은 동일한 초기 상태에서 동일한 목표를 해결하려 애쓴다.
• 밥은 희박한 보상과 밀도 높은 보상의 조합에 더해 앨리스의 트레이젝터리에 기반한 행동 복제(BC)를 사용하여 훈련되며, 이 트레이젝터리는 목표 조건화 디모나션으로 재라벨링된다.
• 각 에피소드에서 다중목표 설정을 사용하여, 앨리스가 5개의 목표를 제안하고 밥이 실패할 때까지 순차적으로 해결함으로써 정책의 일반화를 촉진한다.
• 상호작용으로부터 자연스럽게 교육 과정이 유도되며, 밥이 향상됨에 따라 목표는 점차 더 복잡해지고, 열악한 성능의 디모나션은 걸러진다.
• 행동 복제 손실을 클리핑하여 훈련을 안정화시키고 최적화 단계당 큰 정책 업데이트를 방지한다.

실험 결과

연구 질문

• RQ1 비대칭 자가대결은 인간의 사전 지식 없이도 로봇 조작에서 다양하고 도전적인 목표 분포를 생성할 수 있는가?
• RQ2 비대칭 자가대결을 통해 훈련된 단일 목표 조건화 정책은 새로운 목표와 물체를 포함한 unseen 작업에 대해 제로샷 일반화를 달성할 수 있는가?
• RQ3 앨리스의 트레이젝터리를 행동 복제를 통해 디모나션으로 사용할 경우, 희박한 보상에서 샘플 효율성과 학습 안정성이 크게 향상되는가?
• RQ4 에피소드당 다중목표 훈련은 단일목표 훈련에 비해 정책 일반화와 학습 안정성 측면에서 어떻게 비교되는가?
• RQ5 비대칭 자가대결 프레임워크의 어떤 구성 요소(예: BC, 디모나션 필터링, 교육 과정)가 성공적인 제로샷 일반화에 필수적인가?

주요 결과

• 비대칭 자가대결 프레임워크는 단일 정책이 10개 이상의 unseen 조작 작업에 대해 제로샷 일반화를 달성할 수 있도록 한다. 이는 블록 쌓기, 식탁 정리, 단순 퍼즐 풀이 등을 포함한다.
• 비대칭 자가대결이 없을 경우(ABC 없음), 밥은 모든 보류된 작업에서 완전히 실패함을 보여주며, ABC가 학습에 필수적임을 입증한다.
• 행동 복제 손실을 클리핑하면 훈련 안정성이 향상되고 학습 속도가 빨라지며, 특히 피크 앤 플레이스 및 스택 작업에서 두드러진다.
• 행동 복제 중 열악한 성능의 디모나션을 필터링하면 불안정성이 감소하고 성능이 향상되며, 특히 플립 작업과 같은 복잡한 작업에서 두드러진다.
• 에피소드당 다수의 목표를 사용하면 단일목표 베이스라인에 비해 더 빠르고 안정적인 학습이 이루어지며, 반복적인 노출로 인한 내부 기억의 이점이 있음을 시사한다.
• 계산 능력 증가에 따라 이 방법은 복잡하고 다양한 물체 및 구성에 대해 일반화되며, 이는 강건성과 확장성의 증거가 된다.