[논문 리뷰] Efficient Skill Acquisition for Complex Manipulation Tasks in Obstructed Environments

Jun Yamada, Jack Collins외 1명|arXiv (Cornell University)|2023. 03. 06.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

이 논문은 한 번의 시범만으로 목표 물체를 식별하고, 장애물을 피하는 주행 계획을 수행하며, 복잡한 환경에서의 조작을 위해 기술 전환 네트워크를 갖춘 강화 학습(RL) 정책을 결합하는 모듈러 프레임워크를 제안한다. 이 시스템은 단 몇 개의 시범만으로 실제 산업 현장의 삽입 작업에서 86.7–96.7%의 성공률을 기록하며, 최신 기준보다 뚜렷한 성능 향상을 보였다.

ABSTRACT

Data efficiency in robotic skill acquisition is crucial for operating robots in varied small-batch assembly settings. To operate in such environments, robots must have robust obstacle avoidance and versatile goal conditioning acquired from only a few simple demonstrations. Existing approaches, however, fall short of these requirements. Deep reinforcement learning (RL) enables a robot to learn complex manipulation tasks but is often limited to small task spaces in the real world due to sample inefficiency and safety concerns. Motion planning (MP) can generate collision-free paths in obstructed environments, but cannot solve complex manipulation tasks and requires goal states often specified by a user or object-specific pose estimator. In this work, we propose a system for efficient skill acquisition that leverages an object-centric generative model (OCGM) for versatile goal identification to specify a goal for MP combined with RL to solve complex manipulation tasks in obstructed environments. Specifically, OCGM enables one-shot target object identification and re-identification in new scenes, allowing MP to guide the robot to the target object while avoiding obstacles. This is combined with a skill transition network, which bridges the gap between terminal states of MP and feasible start states of a sample-efficient RL policy. The experiments demonstrate that our OCGM-based one-shot goal identification provides competitive accuracy to other baseline approaches and that our modular framework outperforms competitive baselines, including a state-of-the-art RL algorithm, by a significant margin for complex manipulation tasks in obstructed environments.

연구 동기 및 목표

• 장애물이 있는 환경에서 소량의 데이터로도 기술 습득을 효율적으로 수행할 수 있는 문제를 해결하기 위해.
• 명시적인 목표 상태가 필요로 하는 주행 계획(MP)과 실제 환경에서 샘플 효율성과 안전성 문제를 겪는 강화 학습(RL)의 한계를 극복하기 위해.
• 특정 물체에 맞게 미세조정 없이도 새로운 환경에서 한 번의 시범만으로도 목표 물체를 식별하고 재식별할 수 있도록 물체 중심 생성 모델(OCGM)을 활용하기 위해.
• MP의 종료 상태와 RL 정책의 실행 가능 시작 상태 사이의 격차를 기술 전환 네트워크를 통해 메우기 위해.
• 최신 기준 기반의 샘플 효율적 RL 및 히우리스틱 기반 방법과 비교해 복잡한 장애물 환경 내 조작 작업에서 뛰어난 성능을 보여주기 위해.

제안 방법

• 시스템은 사전 학습된 물체 중심 생성 모델(OCGM)을 사용하여 단일 인간 시범에서 목표 물체를 추출하고 재식별함으로써, 한 번의 시범을 통한 목표 지정을 가능하게 한다.
• OCGM는 새로운 환경에서 물체 중심 표현을 매칭하여 목표 물체의 3차원 위치를 추론함으로써, 주행 계획에 사용할 목표 자세를 제공한다.
• 주행 계획은 OCGM의 출력을 목표로 삼아 장애물을 피하면서 충돌 없는 경로를 생성한다.
• 기술 전환 네트워크를 도입하여 MP의 종료 상태를 RL 정책의 실행 가능한 시작 상태로 매핑함으로써, 정책 실행 초반의 실패를 줄인다.
• 희소 보상만을 사용하여 몇 개의 시범으로도 탐색을 유도하는 샘플 효율적인 RL 정책을 학습함으로써, 밀도 높은 보상 설계가 필요 없도록 한다.
• 모듈러 파이프라인은 OCGM 기반의 목표 식별, 안전한 주행을 위한 주행 계획, 전환 네트워크를 갖춘 RL을 통합하여 실제 장애물 환경에서 견고한 성능을 달성한다.

Figure 1 : Task setup. We solve complex manipulation tasks within the entire operational space of a robot by leveraging an OCGM for versatile and efficient goal acquisition paired with MP and RL. Note that obstacles and a socket are randomly placed on the table.

실험 결과

연구 질문

• RQ1 물체 중심 생성 모델(OCGM)은 특정 물체에 맞게 미세조정 없이도 새로운 환경에서 정확하고 다양한 한 번의 시범을 통한 목표 물체 식별 및 재식별을 가능하게 할 수 있는가?
• RQ2 정확도와 견고성 측면에서, OCGM 기반의 목표 지정 방법은 자세 추정 기반 기준 대비 얼마나 효과적인가?
• RQ3 기술 전환 네트워크를 갖춘 주행 계획과 강화 학습의 통합이 장애물 환경 내 복잡한 조작 작업의 성공률을 뚜렷이 향상시키는가?
• RQ4 기술 전환 네트워크는 MP와 RL 정책 실행 간 초기 상태 불일치로 인한 실패를 어느 정도 감소시키는가?
• RQ5 제안된 모듈러 프레임워크는 실제 산업 조작 작업에서 최신 기준 RL 알고리즘과 다른 MP+RL 기반 기준보다 뛰어난 성능을 보일 수 있는가?

주요 결과

• OCGM 기반의 한 번의 시범 목표 식별 방법은 새로운 환경에서 다른 기준 방법들과 비교해 유사한 정확도를 달성한다.
• 제안된 시스템(MP+RL에 기술 전환 네트워크 통합)은 VGA 작업에서 86.7%, RJ45에서 83.3%, E-model에서 93.3%, USB-A에서 96.7%의 성공률을 기록하며, 모든 기준보다 뚜렷한 성능 향상을 보였다.
• 기술 전환 네트워크가 없는 방법(MP+RL w/o skill transition)은 73.3–80.0%의 성공률을 기록하여, 높은 성능을 위해 전환 네트워크가 필수적임을 시사한다.
• SAC 기준은 모든 작업에서 완전히 실패(0.0% 성공률)했으며, 이는 실제 장애물 환경에서 샘플 효율성 문제의 어려움을 보여준다.
• 주요 실패 원인은 OCGM가 목표 물체를 잘못 식별하는 것이었으며, 이는 더 많은 훈련 데이터로 모델의 견고성을 향상시킬 수 있음을 시사한다.
• 모든 작업에서 MP+Demonstration Replay(3.3–26.7% 성공), MP+BC(16.7–26.7% 성공), MP+Heuristic(10.0–43.3% 성공)보다 뛰어난 성능을 보이며, 실제 적용 가능성에서의 열세를 입증했다.

Figure 2 : Our framework architecture. (a) We leverage an OCGM to re-identify a target object such that its object-centric representation matches one extracted from a single demonstration. The goal state is specified in the robot’s reference frame using an external RGB-D camera with calibrated extri