[논문 리뷰] Learning to Manipulate Object Collections Using Grounded State Representations

Matthew Wilson, Tucker Hermans|arXiv (Cornell University)|2019. 09. 17.

Advanced Neural Network Applications인용 수 7

한 줄 요약

이 논문은 기반 상태 표현을 사용하여 크기가 변하는 물체 집합을 다루는 시뮬레이션에서 실제 세계로의 강화학습 방법을 제안한다. 이미지 기반 정책 추론을 위한 CNN을 훈련시키고, 원시 물체 자세에 대해 GNN을 사용하여 정확한 보상 및 가치 추정을 가능하게 하며, 미세조정 없이 시뮬레이션과 실제 세계에서 높은 성공률을 달성하며, 훈련 중에 나타나지 않은 물체 수와 유형으로도 강한 일반화 성능을 보인다.

ABSTRACT

We propose a method for sim-to-real robot learning which exploits simulator state information in a way that scales to many objects. We first train a pair of encoder networks to capture multi-object state information in a latent space. One of these encoders is a CNN, which enables our system to operate on RGB images in the real world; the other is a graph neural network (GNN) state encoder, which directly consumes a set of raw object poses and enables more accurate reward calculation and value estimation. Once trained, we use these encoders in a reinforcement learning algorithm to train image-based policies that can manipulate many objects. We evaluate our method on the task of pushing a collection of objects to desired tabletop regions. Compared to methods which rely only on images or use fixed-length state encodings, our method achieves higher success rates, performs well in the real world without fine tuning, and generalizes to different numbers and types of objects not seen during training.

연구 동기 및 목표

• 기존의 시뮬레이션에서 실제 세계로의 방법들이 도전적인 다물체 조작 작업을 위해 강력하고 일반화 가능한 다물체 집합 조작을 가능하게 하기 위해.
• 이미지만 사용하는 표현 방식과 고정 길이 상태 인코딩의 한계를 해결하기 위해.
• 시뮬레이터 상태 정보에 잠재 표현을 기반으로 하여 정책 학습의 안정성과 성공률을 향상시키기 위해.
• 미세조정 없이 시뮬레이션에서 훈련된 정책을 실제 세계에 배포할 수 있도록 하기 위해.
• 훈련 중에 존재하지 않은 수와 유형의 물체로도 일반화할 수 있도록 하기 위해.

제안 방법

• RGB 이미지와 물체 자세 타겟을 쌍으로 사용하여 CNN 인코더를 훈련시켜 이미지 기반 상태 표현을 학습한다.
• 원시 물체 자세에 대해 GNN 인코더를 훈련시켜 기반된 자동인코딩 상태 표현을 학습한다.
• 비대칭 액터-크리틱 프레임워크에서 GNN으로 학습된 상태 임베딩을 사용하여 보상 계산과 가치 추정을 수행한다.
• 두 인코더를 함께 사용하여 물체 집합을 통합적으로 고려하는 이미지 기반 정책을 강화학습 알고리즘으로 훈련시킨다.
• 시뮬레이션에서 실제 세계로의 전이 성능을 향상시키기 위해 훈련 중에 도메인 랜덤라이제이션을 적용하며, GNN 임베딩을 사용해 학습 신호의 안정성을 높인다.
• 1~20개의 물체를 포함하는 다물체 밀고 다루기 작업을 벤치마크로 사용하여 시뮬레이션에서 훈련하고 실제 세계에 배포한다.

실험 결과

연구 질문

• RQ1 시뮬레이터 상태 정보에서 유도된 기반 상태 표현이 다물체 조작을 위한 정책 학습에 향상 효과를 줄 수 있는가?
• RQ2 CNN 기반 이미지 인코딩과 GNN 기반 자세 인코딩을 조합함으로써 시뮬레이션에서 실제 세계로의 전이 및 일반화 성능이 향상되는가?
• RQ3 훈련 중에 나타나지 않은 물체 수와 유형에 대해 이 방법은 어떻게 성능을 발휘하는가?
• RQ4 이 정책은 미세조정 없이 실제 세계에서 높은 성공률을 달성할 수 있는가?
• RQ5 기반 GNN 표현 사용이 자동인코더 기반 또는 고정 길이 상태 접근 방식과 비교해 어떻게 다른가?

주요 결과

• 전체 방법은 자동인코더 및 고정 상태 기반 베이스라인보다 시뮬레이션에서 가장 높은 성공률을 기록했으며, 특히 균일한 초기 물체 분포 조건에서 뚜렷한 우월성을 보였다.
• 실제 세계 평가에서 전체 방법은 10개의 큐브, 20개의 큐브, 스푸엔웨어, 찌그러진 종이 공 등 모든 테스트 구성에서 자동인코더 기반 베이스라인을 크게 앞섰다.
• 훈련 중에 존재하지 않은 물체 유형과 수에 대해 잘 일반화되었으며, 재훈련 없이도 10개 큐브, 20개 큐브, 스푸엔웨어 작업에서 높은 성공률 기록했다.
• 비대칭 액터-크리틱 프레임워크에서 GNN으로 학습된 상태 임베딩을 사용함으로써 학습이 안정화되었으며, 도메인 랜덤라이제이션을 적용했을 때 성공에 결정적인 역할을 했다.
• 전체 손실($\mathcal{L}_{\text{FULL}}$)로 훈련한 모델가 약간 더 뛰어난 성능을 보였으며, 특히 실제 세계에서의 일반화 작업에서 두드러졌다.
• 실제 시험에서 정책는 복잡한 밀고 다루기 순서를 성공적으로 수행했으며, 관련 비디오에서 시각화된 바와 같이 강건성과 적응성의 우수함을 입증했다.