[논문 리뷰] Towards Practical Multi-Object Manipulation using Relational Reinforcement Learning

Richard Li, Allan Jabri외 2명|arXiv (Cornell University)|2019. 12. 23.

Reinforcement Learning in Robotics참고 문헌 63인용 수 21

한 줄 요약

이 논문은 그래프 신경망(GNN)과 주의 메커니즘을 사용한 관계형 강화학습 프레임워크를 제안하여 다객체 조작 작업에서 데이터 효율적이고 제로샷 일반화를 가능하게 한다. 객체 수를 점진적으로 증가시키는 커리큘럼과 관계 추론을 위한 인덕티브 바이어스를 결합함으로써, 추가 학습 없이도 피라미드나 더 높은 탑과 같은 새로운 구성에 일반화되는 샘플 효율성을 달성한다.

ABSTRACT

Learning robotic manipulation tasks using reinforcement learning with sparse rewards is currently impractical due to the outrageous data requirements. Many practical tasks require manipulation of multiple objects, and the complexity of such tasks increases with the number of objects. Learning from a curriculum of increasingly complex tasks appears to be a natural solution, but unfortunately, does not work for many scenarios. We hypothesize that the inability of the state-of-the-art algorithms to effectively utilize a task curriculum stems from the absence of inductive biases for transferring knowledge from simpler to complex tasks. We show that graph-based relational architectures overcome this limitation and enable learning of complex tasks when provided with a simple curriculum of tasks with increasing numbers of objects. We demonstrate the utility of our framework on a simulated block stacking task. Starting from scratch, our agent learns to stack six blocks into a tower. Despite using step-wise sparse rewards, our method is orders of magnitude more data-efficient and outperforms the existing state-of-the-art method that utilizes human demonstrations. Furthermore, the learned policy exhibits zero-shot generalization, successfully stacking blocks into taller towers and previously unseen configurations such as pyramids, without any further training.

연구 동기 및 목표

• 희소 보상 하에서 다객체 조작을 위한 강화학습의 데이터 비효율성 문제를 해결하기 위해.
• 지식 전이를 위한 인덕티브 바이어스가 부족하여 커리큘럼 학습이 다객체 작업에서 실패하는 문제를 극복하기 위해.
• 추가 학습 없이도 더 높은 탑과 피라미드와 같은 새로운 구성에 제로샷 일반화를 가능하게 하기 위해.
• 희소 보상과 간단한 커리큘럼만을 사용하여 처음부터 학습하는 샘플 효율적인 RL 프레임워크를 설계하기 위해.

제안 방법

• 객체 간 상호작용을 모델링하기 위해 주목적 기반 그래프 신경망에 기반한 관계형 신경망(ReNN)을 사용한다.
• ReNN은 객체 간 주목도 점수를 계산하여 조작 동작 중 관련 블록에 집중한다.
• 커리큘럼 전략은 블록 수를 2개에서 6개까지 단계적으로 증가시키며, 각 단계에서 에이전트가 마스터할 때만 다음 단계로 전진한다.
• 정책은 밀도 높은 보상이나 인간 시범 없이 희소 종료 보상만을 사용하여 딥 강화학습으로 학습된다.
• 에이전트는 관련 객체에 주목함으로써 복잡한 작업을 하위 문제로 분해하고, 다양한 작업 간 전이를 가능하게 한다.
• 프레임워크는 시뮬레이션에서 학습되고, 예상치 못한 구성과 객체 수로의 일반화 성능을 평가한다.

실험 결과

연구 질문

• RQ1 관계 추론을 위한 인덕티브 바이어스를 갖춘 관계형 RL 프레임워크가 다객체 조작에서 데이터 효율성을 향상시킬 수 있는가?
• RQ2 분포 이탈으로 인해 커리큘럼 학습이 다객체 작업에서 실패하는가? 그리고 관계형 인덕티브 바이어스가 이를 완화할 수 있는가?
• RQ3 탑을 쌓는 데 훈련된 에이전트가 더 높은 탑과 피라미드와 같은 비탑 구성으로 제로샷 일반화가 가능한가?
• RQ4 GNN 내 주목도 패턴은 작업 분해를 어떻게 반영하고 일반화를 지원하는가?

주요 결과

• 에이전트는 희소 보상과 단순한 커리큘럼만을 사용하여 여섯 개의 블록을 탑으로 쌓는 데 성공했으며, 이는 이전 최신 기법들보다 샘플 효율성이 수 개체 수 이상 뛰어나다.
• 에이전트는 일곱 개의 블록을 탑으로 쌓는 것과 피라미드 구성으로의 제로샷 일반화를 달성했으며, 이는 훈련 중에 볼 수 없었던 구성이다.
• 네 개 블록 탑으로 훈련된 에이전트가 일곱 개 블록 탑으로 훈련된 에이전트보다 피라미드 작업에서 더 뛰어난 성능을 보였으며, 후자는 수직 쌓기 구조에 과적합된 것으로 나타났다.
• 주목도 시각화 결과, 모델이 놓을 블록에 가장 집중하고 하단의 블록에는 덜 집중하는 것으로 나타나, 효과적인 작업 분해가 이루어졌음을 시사한다.
• 인간 시범을 사용한 최신 기법보다도 프레임워크가 뛰어난 성능을 보였으며, 이는 이mit레이션보다 관계형 인덕티브 바이어스의 가치를 입증한다.
• 희소 보상 최적화 과정에서 블록을 밀어내어 다른 블록을 抓는 행동과 동시에 두 개의 블록을 잡는 행동과 같은 잠재 행동이 자연스럽게 유도되었다.