[논문 리뷰] Blocks Assemble! Learning to Assemble with Large-Scale Structured Reinforcement Learning

Seyed Kamyar Seyed Ghasemipour, Daniel Freeman외 4명|arXiv (Cornell University)|2022. 03. 15.

Modular Robots and Swarm Intelligence인용 수 4

한 줄 요약

이 논문은 대규모 구조적 강화학습을 사용하여 다양한 블루프린트를 조립하는 데에 에이전트를 훈련시키기 위한 물리 기반 3D 자기 블록 조립 환경을 소개한다. 단일 그래프 기반 정책 에이전트는 새로운 블루프린트에 대해 제로샷 일반화를 달성하고 리셋이 없는 설정에서도 효과적으로 작동하며, 이는 다중 작업 훈련과 구조적 표현 방식이 명시적 계획 또는 계층적 구조 없이도 강건하고 일반화 가능한 조립을 가능하게 한다는 것을 보여준다.

ABSTRACT

Assembly of multi-part physical structures is both a valuable end product for autonomous robotics, as well as a valuable diagnostic task for open-ended training of embodied intelligent agents. We introduce a naturalistic physics-based environment with a set of connectable magnet blocks inspired by children's toy kits. The objective is to assemble blocks into a succession of target blueprints. Despite the simplicity of this objective, the compositional nature of building diverse blueprints from a set of blocks leads to an explosion of complexity in structures that agents encounter. Furthermore, assembly stresses agents' multi-step planning, physical reasoning, and bimanual coordination. We find that the combination of large-scale reinforcement learning and graph-based policies -- surprisingly without any additional complexity -- is an effective recipe for training agents that not only generalize to complex unseen blueprints in a zero-shot manner, but even operate in a reset-free setting without being trained to do so. Through extensive experiments, we highlight the importance of large-scale training, structured representations, contributions of multi-task vs. single-task learning, as well as the effects of curriculums, and discuss qualitative behaviors of trained agents.

연구 동기 및 목표

• 일반화 문제를 연구하기 위한 자연스럽고 물리 기반의 환경을 개발하기 위해.
• 특정 작업에 맞게 보정하지 않고도 다양한 복잡한 블루프린트를 조립할 수 있는 단일 에이전트가 학습할 수 있는지 조사하기 위해.
• 구조적 표현 방식과 다중 작업 훈련이 제로샷 일반화 및 리셋 없는 작동을 가능하게 하는 데 얼마나 효과적인지 평가하기 위해.
• 대규모 훈련, 커리큘럼 학습, 정책 아키텍처가 복합적이고 다단계적인 조립 작업을 해결하는 데 기여하는 바를 이해하기 위해.

제안 방법

• 16개의 자기로 연결 가능한 블록을 포함한 3D 시뮬레이션 환경을 설계하여 동적이고 모듈식 구조 형성을 가능하게 한다.
• 블록을 노드로, 연결을 간선으로 표현하는 그래프 기반 정책 네트워크를 구현하여 물체 구성에 대한 구조적이고 순열 불변의 추론을 가능하게 한다.
• 복잡도가 다른 약 200개의 다양한 블루프린트를 대상으로 대규모 다중 작업 강화학습을 통해 단일 에이전트를 훈련시킨다.
• 어려운 블루프린트를 우선적으로 훈련에 포함하는 커리큘럼 전략을 사용하여 샘플 효율성과 일반화 능력을 향상시킨다.
• 가상의 그립퍼를 통해 직접적인 블록 조작을 가능하게 하여 복잡한 그립핑을 추상화하면서도 이중손 coordination과 물리적 추론의 과제를 유지한다.
• 희박한, 밀도 높은, 그리고 커리큘럼 기반의 보상 형상화를 정의하여 성공적인 조립과 구조적 정확성을 향한 학습을 이끌어낸다.

실험 결과

연구 질문

• RQ1 대규모 다중 작업 강화학습을 통해 훈련된 단일 에이전트가 3D 블록 조립 환경에서 새로운 복잡한 블루프린트에 대해 제로샷 일반화를 달성할 수 있는가?
• RQ2 표준 순전파 정책에 비해 그래프 기반 정책 아키텍처가 다양한 복합적 구조에 걸쳐 일반화를 얼마나 효과적으로 가능하게 하는가?
• RQ3 다중 작업 훈련이 단일 작업 보정에 비해 강건하고 일반화 가능한 조립 행동을 달성하는 데 기여하는 바는 무엇인가?
• RQ4 더 어려운 블루프린트에 초점을 맞춘 커리큘럼 학습이 샘플 효율성과 일반화 성능을 향상시키는가?
• RQ5 에피소드 기반 리셋 환경에서 훈련된 에이전트가 명시적인 훈련 없이도 연속적이고 리셋이 없는 설정에서 효과적으로 작동할 수 있는가?

주요 결과

• 그래프 기반 정책 에이전트는 199개의 목표 구조 전부에 걸쳐 새로운 블루프린트에 대해 제로샷 일반화를 달성했으며, 최대 16개의 블록을 포함한 블루프린트에도 성공적으로 적용되었다.
• 모든 블루프린트에 걸쳐 다중 작업 훈련을 통해 에이전트는 점차 더 복잡한 구조를 학습했으며, 단일 작업 기반 베이스라인 대비 큰 블루프린트에서의 성능 향상이 뚜렷하게 관찰되었다.
• 에이전트는 에피소드 기반 리셋 환경에서만 훈련되었음에도 불구하고 리셋이 없는 설정에서도 성공적으로 작동했으며, 이는 잠재적인 강건성과 장기적 계획 능력이 도출된 것임을 시사한다.
• 대규모 훈련이 필수적이었으며, 적은 수의 블루프린트에서 훈련된 에이전트는 복잡하거나 새로운 구조에 대해 일반화하지 못했다.
• 구조적 표현 방식과 다중 작업 학습의 조합은 별도의 계층적 계획 또는 커리큘럼이 없이도 다른 대안보다 뛰어난 성능을 보였으며,
• 정성적 분석을 통해 에이전트가 순차적 부착 및 안정적인 중간 구조와 같은 복잡한 조율된 동작을 발견한 것으로 나타났으며, 이는 물리적 추론과 이중손 조율 능력을 보여준다.