[논문 리뷰] Learning Multi-Stage Tasks with One Demonstration via Self-Replay

Norman Di Palo, Edward Johns|arXiv (Cornell University)|2021. 11. 14.

Domain Adaptation and Few-Shot Learning참고 문헌 33인용 수 8

한 줄 요약

이 논문은 단일 인간 시연로부터 복잡한 일상적인 다단계 조작 작업을 학습할 수 있도록 하는 자기지도적 암시 학습 방법 Self-Replay를 제안한다. 능동적인 물체 재배치와 오픈 루프 재생을 통해 자율적으로 데이터를 수집함으로써, 사전 물체 지식이나 학습 중 인간 간섭 없이도 다양한 작업에서 높은 성공률을 달성한다.

ABSTRACT

In this work, we introduce a novel method to learn everyday-like multi-stage tasks from a single human demonstration, without requiring any prior object knowledge. Inspired by the recent Coarse-to-Fine Imitation Learning method, we model imitation learning as a learned object reaching phase followed by an open-loop replay of the demonstrator's actions. We build upon this for multi-stage tasks where, following the human demonstration, the robot can autonomously collect image data for the entire multi-stage task, by reaching the next object in the sequence and then replaying the demonstration, and then repeating in a loop for all stages of the task. We evaluate with real-world experiments on a set of everyday-like multi-stage tasks, which we show that our method can solve from a single demonstration. Videos and supplementary material can be found at https://www.robot-learning.uk/self-replay.

연구 동기 및 목표

• 최소한의 인간 노력으로 단일 인간 시연로부터 다단계 조작 작업을 학습할 수 있도록 로봇을 가능하게 한다.
• 다수의 시연나 광범위한 인간 감시가 필요한 기존 암시 학습 방법의 한계를 극복한다.
• 학습 중 사전 물체 지식, 환경 설계, 수동 리셋 절차의 필요성을 제거한다.
• 그러한 작업들인 캐치, 놓기, 자르기, 쌓기 등 다양한 실제 작업에 일반화 가능한 강건하고 확장 가능한 프레임워크를 개발한다.
• 새로운 복구 파이프라인을 통해 테스트 시 시각적 방해 요소와 외부 교란에 대한 강건성을 확보한다.

제안 방법

• Coarse-to-Fine Imitation Learning에서 영감을 얻어, 다단계 작업을 윤곽 잡기 단계와 정밀 동작 단계를 번갈아 수행하는 방식으로 모델링한다.
• 단일 시연 이후, 로봇은 학습된 도달 정책를 사용해 다음 물체로 자율적으로 재배치된다.
• 로봇은 오픈 루프 방식으로 시연된 동작을 재생하여 다음 단계를 위한 새로운 경험을 수집하며, 이를 반복적으로 반복한다.
• 데이터 수집 효율을 극대화하기 위해 물체를 능동적으로 선택하고 재배치하는 효율적인 변형인 Active Self-Replay를 도입한다.
• 관측을 인식하고 물체 도달을 위한 블로킹 정책 네트워크를 훈련하기 위해 시각 기반, 校정되지 않은 손목 장착 카메라를 사용한다.
• 실행 중에 오류 복구 및 시각적 방해 요소에 대한 강건성을 보장하기 위해 테스트 시 실행 파이프라인을 구현한다.

실험 결과

연구 질문

• RQ1 로봇은 사전 물체 지식 없이 단일 인간 시연만으로도 복잡한 다단계 조작 작업을 수행할 수 있는가?
• RQ2 다양한 시연가 필요한 전통적 암시 학습과 비교해, 물체 재배치와 동작 재생을 통한 자기지도적 데이터 수집은 얼마나 효과적인가?
• RQ3 시각적 방해 요소와 환경적 교란이 있는 실제 작업에 대해 이 방법은 어느 정도 일반화 가능한가?
• RQ4 샘플 효율성과 성공률 측면에서 Self-Replay는 Behavioral Cloning, RIL, DDPGfD와 같은 최첨단 방법과 비교해 어떻게 성능을 내는가?
• RQ5 능동적 데이터 수집(Active Self-Replay)은 데이터 효율성과 작업 완료 성능에 어떤 영향을 미치는가?

주요 결과

• Self-Replay는 단일 시연만으로도 단일 단계 작업에서 100%의 성공률, 네 단계 쌓기 작업에서 80%의 성공률를 기록했다.
• 반면, 30개의 시연를 사용한 Relay Imitation Learning(RIL)은 네 단계 작업에서 단지 35%의 성공률를 기록했으며, Self-Replay는 이에 비해 40배에서 50배 높은 효율성을 보였다.
• 이 방법은 Behavioral Cloning와 DDPGfD보다 뛰어난 성능를 보였으며, 단일 시연로 다단계 작업을 해결하지 못한 두 방법과는 대조적으로 성공했다.
• Self-Replay는 테스트 시 시각적 방해 요소에 대해 강건성을 유지하며, 비정형적인 시각 환경에서도 높은 성능를 유지했다.
• 제거 분석을 통해 Self-Replay 메커니즘과 능동적 데이터 수집이 성능 향상에 기여하는 것이 확인되었다.
• 학습 중에 환경 리셋이나 수동 감시가 전혀 필요 없었으며, 단일 시연 이후 완전히 자율적인 데이터 수집이 가능했다.