[논문 리뷰] AW-Opt: Learning Robotic Skills with Imitation and Reinforcement at Scale

Yao Lu, Karol Hausman외 9명|arXiv (Cornell University)|2021. 11. 09.

Robot Manipulation and Learning인용 수 10

한 줄 요약

AW-Opt는 이점 가중 회귀와 QT-Opt 원리를 융합하여 애벌레 학습과 오프라인 강화 학습을 통합하는 확장 가능한 액터-크리틱 강화 학습 알고리즘입니다. 다양한 오프라인 데이터(예를 들어, 시연 및 열악한 경험 포함)로부터 효율적이고 안정적인 학습을 가능하게 하며, 시뮬레이션 및 실제 로봇 조작 작업 전반에서 기존 방법들인 QT-Opt와 AWAC를 능가하는 샘플 효율성과 최종 성공률을 달성합니다.

ABSTRACT

Robotic skills can be learned via imitation learning (IL) using user-provided demonstrations, or via reinforcement learning (RL) using large amountsof autonomously collected experience.Both methods have complementarystrengths and weaknesses: RL can reach a high level of performance, but requiresexploration, which can be very time consuming and unsafe; IL does not requireexploration, but only learns skills that are as good as the provided demonstrations.Can a single method combine the strengths of both approaches? A number ofprior methods have aimed to address this question, proposing a variety of tech-niques that integrate elements of IL and RL. However, scaling up such methodsto complex robotic skills that integrate diverse offline data and generalize mean-ingfully to real-world scenarios still presents a major challenge. In this paper, ouraim is to test the scalability of prior IL + RL algorithms and devise a system basedon detailed empirical experimentation that combines existing components in themost effective and scalable way. To that end, we present a series of experimentsaimed at understanding the implications of each design decision, so as to develop acombined approach that can utilize demonstrations and heterogeneous prior datato attain the best performance on a range of real-world and realistic simulatedrobotic problems. Our complete method, which we call AW-Opt, combines ele-ments of advantage-weighted regression [1, 2] and QT-Opt [3], providing a unifiedapproach for integrating demonstrations and offline data for robotic manipulation.Please see https://awopt.github.io for more details.

연구 동기 및 목표

• 로봇 제어를 위한 애벌레 학습과 강화 학습을 효과적으로 융합하는 확장 가능한 통합 방법을 개발하는 것.
• 기존 IL+RL 방법들이 이질적인 오프라인 데이터를 다루는 데서 기인하는 한계와 복잡한 실제 작업으로의 확장성 문제를 해결하는 것.
• 이전 알고리즘들(예: AWAC 및 QT-Opt)의 핵심 설계 결정 사항을 식별하고 통합하여 성능과 안정성을 향상시키는 것.
• 다양한 데이터 원천과 과제 난이도를 가진 다양한 시뮬레이션 및 실제 로봇 조작 과제에서 방법을 평가하는 것.
• 하이브리드 접근 방식이 시연 및 열악한 오프라인 데이터를 활용하면서도 효과적인 온라인 최적화를 가능하게 할 수 있음을 입증하는 것.

제안 방법

• AW-Opt는 오프라인 애벌레 학습과 온라인 강화 학습을 통합하기 위해 이점 가중 회귀(AWR)를 QT-Opt 기반의 가치 기반 오프폴리시 강화 학습 프레임워크와 융합합니다.
• 행위 클로닝과 Q-학습 목표를 조합한 하이브리드 손실을 사용하여, 시연 및 오프라인 경험 모두로부터 안정적인 정책 갱신을 가능하게 합니다.
• 이중 단계 학습 프로세스를 적용합니다: 먼저 시연 및 열악한 데이터를 사용한 오프라인 사전 학습 단계를 거치고, 이후 온폴리시 롤아웃을 통한 온라인 최적화 단계로 이어집니다.
• 오프라인 데이터에 양성 및 음성 궤적을 모두 포함시켜, 음성 예제를 무시하는 방법에 비해 더 높은 내구성을 확보합니다.
• DQN과 TD3와 유사하게 타겟 Q-네트워크와 경험 재현 메커니즘을 사용하여 온라인 최적화 단계에서 학습을 안정화합니다.
• 실제 작업에서 희박한 이진 보상 환경을 다루기 위해 임계값 기반의 양성 필터링 메커니즘을 적용합니다.

실험 결과

연구 질문

• RQ1 통합 알고리즘이 복잡한 로봇 조작 과제로의 확장에 효과적으로 애벌레 학습과 강화 학습을 융합할 수 있는가?
• RQ2 IL+RL 알고리즘의 개별 설계 선택 사항이 실제 및 시뮬레이션 환경에서 성능와 확장성에 미치는 영향은 어떠한가?
• RQ3 양성 및 음성 궤적을 모두 포함한 오프라인 데이터를 효과적으로 활용하여 온라인 강화 학습을 부트스트랩할 수 있는가?
• RQ4 AWR 스타일의 행동 클로닝과 QT-Opt 스타일의 가치 기반 RL을 융합하면 기존 방법보다 더 높은 샘플 효율성과 최종 성능을 달성할 수 있는가?
• RQ5 온라인 최적화를 광범위하게 수행하지 않고도 오프라인 데이터에서 학습한 방법이 실제 로봇 배포에 대해 얼마나 잘 일반화되는가?

주요 결과

• AW-Opt는 오직 양성 시연 데이터만을 사용하여 Task 3(실제 무작위 집기)에서 52.53%의 성공률을 기록했으며, AWAC(44.21%)와 QT-Opt(0%)를 모두 초월했습니다.
• Task 5(실제 인스턴스 집기)에서는 온라인 최적화 후 48.89%의 성공률을 달성했고, QT-Opt와 AWAC는 모두 실패(0%)했습니다.
• 시뮬레이션 환경에서는 온라인 최적화에서 AW-Opt가 QT-Opt와 AWAC를 모두 능가했으며, 특히 어려운 과제인 Task 5에서 더 높은 최종 성공률과 더 빠른 수렴 속도를 보였습니다.
• AW-Opt는 양성 및 음성 오프라인 데이터를 모두 효과적으로 활용했고, 반면 AWAC는 음성 예제가 포함된 경우 실패했으며, QT-Opt는 양성 전용 데이터에서 학습을 수행하지 못했습니다.
• 이 방법은 실제 로봇 배포에 대해 강력한 일반화 성능를 보였으며, 두 대의 서로 다른 실제 로봇 플랫폼과 여러 과제 변형에서 성능를 유지했습니다.
• 제거 실험을 통해 AW-Opt의 각 구성 요소—특히 AWR와 QT-Opt 구성 요소의 통합—이 성능 향상에 기여했음을 확인했습니다.