[논문 리뷰] Efficient learning of goal-oriented push-grasping synergy in clutter

Kechun Xu, Hongxiang Yu외 3명|arXiv (Cornell University)|2021. 03. 09.

Robot Manipulation and Learning참고 문헌 36인용 수 4

한 줄 요약

이 논문은 혼잡한 환경 내에서 목표 지향적 푸시- grasping 작업에서 샘플 효율성을 향상시키기 위해 목표 조건이 붙은 계층적 강화 학습 프레임워크를 제안한다. 목표 재할당과 적대적 훈련을 통해, 그립 동작이 밀기 동작을 안내하는 디스criminator로 기능함으로써 보상 밀도를 높이고 더 빠르고 효과적인 학습을 가능하게 한다. 이 방법은 더 적은 동작 수로 더 높은 작업 완료율과 그립 성공률을 달성하며, 미세조정 없이도 실제 환경에 일반화되며, 목표 지향적 및 목표 무관 조건 모두에서 잘 작동한다.

ABSTRACT

We focus on the task of goal-oriented grasping, in which a robot is supposed to grasp a pre-assigned goal object in clutter and needs some pre-grasp actions such as pushes to enable stable grasps. However, in this task, the robot gets positive rewards from environment only when successfully grasping the goal object. Besides, joint pushing and grasping elongates the action sequence, compounding the problem of reward delay. Thus, sample inefficiency remains a main challenge in this task. In this paper, a goal-conditioned hierarchical reinforcement learning formulation with high sample efficiency is proposed to learn a push-grasping policy for grasping a specific object in clutter. In our work, sample efficiency is improved by two means. First, we use a goal-conditioned mechanism by goal relabeling to enrich the replay buffer. Second, the pushing and grasping policies are respectively regarded as a generator and a discriminator and the pushing policy is trained with supervision of the grasping discriminator, thus densifying pushing rewards. To deal with the problem of distribution mismatch caused by different training settings of two policies, an alternating training stage is added to learn pushing and grasping in turn. A series of experiments carried out in simulation and real world indicate that our method can quickly learn effective pushing and grasping policies and outperforms existing methods in task completion rate and goal grasp success rate by less times of motion. Furthermore, we validate that our system can also adapt to goal-agnostic conditions with better performance. Note that our system can be transferred to the real world without any fine-tuning. Our code is available at https://github.com/xukechun/Efficient_goal-oriented_push-grasping_synergy.

연구 동기 및 목표

• 혼잡한 장면 내에서 목표 지향적 푸시-그립 작업의 희박한 보상과 샘플 비효율성 문제를 해결하기 위해.
• 특정 대상 물체를 분리하고 그립기 위한 상호보완적인 밀기 및 그립 정책을 효율적으로 학습시키기 위해.
• 미세조정 없이 시뮬레이션에서 실제 세계로의 일반화를 향상시키기 위해.
• 대상에 특화된 조건을 제거하여 목표 무관 시나리오로의 적용 가능성을 확장하기 위해.

제안 방법

• 푸시와 그립을 별개이지만 조율된 정책으로 구조화하기 위해, 목표 조건이 붙은 계층적 강화 학습 문제로 작업을 공식화한다.
• 경험 재생 버퍼에서 목표 재할당을 적용하여 경험 데이터를 풍부화시켜 샘플 효율성을 향상시킨다. 이는 성공적으로 그립은 비대상 물체에 대해 목표를 재할당함으로써 이루어진다.
• 그립 정책가 디스criminator로 기능하여 밀기 동작을 위한 조밀하고 정보가 풍부한 보상을 제공하는 적대적 훈련 메커니즘을 도입한다.
• 푸시 정책와 그립 정책 간의 교차 훈련을 통해 서로 다른 훈련 역학으로 인한 분포 이탈을 완화한다.
• 시스템을 시뮬레이션에서 종단 간(end-to-end)으로 훈련하고, 추가적인 미세조정 없이 실제 세계 환경으로 직접 이식한다.
• 관찰 공간에 목표 마스크를 적용하여 정책이 대상 물체에 조건을 붙이도록 하며, 목표 무관 작동을 위해 이 기능을 제거할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 희박한 보상이 존재하는 목표 지향적 푸시-그립 작업에서 샘플 효율성을 어떻게 향상시킬 수 있는가?
• RQ2 푸시 정책와 그립 정책 간의 적대적 훈련이 보상을 밀도 있게 만들고 정책 학습을 향상시킬 수 있는가?
• RQ3 푸시 정책와 그립 정책 간의 교차 훈련이 계층적 강화 학습에서 분포 이탈을 어떻게 완화하는가?
• RQ4 시뮬레이션에서 훈련된 정책이 미세조정 없이 실제 세계 환경으로 얼마나 잘 일반화되는가?
• RQ5 동일한 프레임워크가 목표 지향적 및 목표 무관 그립 시나리오 모두에서 효과적으로 작동할 수 있는가?

주요 결과

• 시뮬레이션 실험에서 제안된 방법은 도전적인 배열에서 93.3%의 작업 완료율과 86.6%의 그립 성공률을 달성했으며, Grasping the Invisible와 같은 베이스라인을 능가했다.
• 도전적인 케이스에서 평균 동작 수를 4.62회로 줄여 동작 효율성이 향상됨을 보였다.
• 실제 세계 실험에서 도전적인 배열에서 93.3%의 완료율과 86.6%의 그립 성공률을 기록했으며, 베이스라인 방법(86.7% 및 75.2%)을 초월했다.
• 복잡한 형태의 새로운, 알려지지 않은 물체에도 일반화되었지만, 완전히 낯선 형태의 물체에서는 실패 사례가 발생했다.
• 목표 무관 조건에서 VPG보다 12.4% 높은 완료율과 5.3% 높은 그립 성공률을 기록했다.
• 모델은 어떤 미세조정 없이도 시뮬레이션에서 실제 세계로 성공적으로 이식되었으며, 강력한 제로샷 일반화 능력을 입증했다.