[논문 리뷰] Residual Skill Policies: Learning an Adaptable Skill-based Action Space for Reinforcement Learning for Robotics

Krishan Rana, Ming Xu외 3명|arXiv (Cornell University)|2022. 11. 04.

Reinforcement Learning in Robotics인용 수 5

한 줄 요약

이 논문은 상태 조건화된 생성 모델을 통해 관련 기술로 탐색을 유도하고, 저수준 잔차 정책을 통해 기술을 작업 변화에 적응시킴으로써 기술 기반 학습을 가속화하는 강화학습 프레임워크인 Residual Skill Policies (ReSkill)를 제안한다. 기존 방법과 비교해 네 가지 새로운 조작 작업에서 더 빠른 수렴 속도와 더 높은 최종 성능을 달성한다.

ABSTRACT

Skill-based reinforcement learning (RL) has emerged as a promising strategy to leverage prior knowledge for accelerated robot learning. Skills are typically extracted from expert demonstrations and are embedded into a latent space from which they can be sampled as actions by a high-level RL agent. However, this skill space is expansive, and not all skills are relevant for a given robot state, making exploration difficult. Furthermore, the downstream RL agent is limited to learning structurally similar tasks to those used to construct the skill space. We firstly propose accelerating exploration in the skill space using state-conditioned generative models to directly bias the high-level agent towards only sampling skills relevant to a given state based on prior experience. Next, we propose a low-level residual policy for fine-grained skill adaptation enabling downstream RL agents to adapt to unseen task variations. Finally, we validate our approach across four challenging manipulation tasks that differ from those used to build the skill space, demonstrating our ability to learn across task variations while significantly accelerating exploration, outperforming prior works. Code and videos are available on our project website: https://krishanrana.github.io/reskill.

연구 동기 및 목표

• 큰 일반적인 기술 공간에서 비효율적인 탐색 문제를 해결하기 위해 현재 상태에 따라 기술을 샘플링하도록 유도하는 상태 조건화된 기술 사전을 학습하는 것.
• 하위 레벨의 잔차 정책을 도입하여 하위 레벨의 기술을 환경 변화(예: 물체 위치, 마찰력, 장애물 등)에 맞게 세밀하게 조정할 수 있도록 하는 것.
• 전문가 지침의 전반적인 범위를 요구하지 않고도 고전적 제어기에서 기술 데이터를 확보함으로써 전문가 지침의 과도한 의존도를 줄이는 것.
• 원래 기술 학습 데이터의 작업 분포에 제한되지 않고 기술 기반 강화학습의 샘플 효율성과 최종 성능을 향상시키는 것.
• 기존 기술 공간 구축 시 볼 수 없었던 다양한 조작 작업에 대한 일반화 능력을 입증하는 것.

제안 방법

• 정규화 플로우 기반의 상태 조건화된 기술 사전을 학습하여, 주어진 로봇 상태에 대해 관련 기술의 다중 모달 조건부 밀도를 모델링하고, 상태에 맞는 기술을 직접 샘플링할 수 있도록 하는 것.
• 전문가 지침을 연속적인 잠재 기술 공간에 임bedding하는 변분 오토인코더(VAE)를 통해 기술 사전을 학습한 후, 복잡한 다중 모달 분포를 모델링하기 위해 플로우 기반 변환을 적용하는 것.
• 고수준 기술 행동에 대한 보정을 예측하는 저수준 잔차 정책을 도입하여, 물체 위치, 마찰력, 장애물 등의 환경 변화에 대한 세밀한 적응을 가능하게 하는 것.
• 고수준 RL 에이전트는 상태 조건화된 기술 사전에서 샘플링된 행동을 사용해 기술 공간에서 작동하고, 잔차 정책은 정밀 제어를 위한 단일 스텝 행동에 접근할 수 있도록 하는 것.
• 고수준 정책은 강화학습을 통해 최적화되며, 하위 레벨의 기술 사전과 잔차 정책는 하위 작업 학습 중 동결되어 정책 안정성을 유지하는 엔드 투 엔드로 프레임워크를 훈련하는 것.
• 이중 단계 훈련 과정을 사용한다: 전처리 단계에서 전문가 지침을 기반으로 기술 임bedding 및 사전 모듈을 훈련하고, 이후 하위 작업에서 고수준 정책을 미세 조정하는 것.

실험 결과

연구 질문

• RQ1 상태 조건화된 생성 모델이 현재 상태에 맞는 관련 기술만 샘플링함으로써 큰 다중 모달 기술 공간에서 탐색을 효과적으로 유도할 수 있는가?
• RQ2 저수준 잔차 정책이 물체 위치, 마찰력, 장애물 등의 새로운 작업 변화에 대해 기술을 얼마나 잘 적응시킬 수 있는가?
• RQ3 기술 사전과 잔차 정책의 조합이 기존 기술 기반 강화학습과 비교해 샘플 효율성과 최종 성능을 얼마나 향상시키는가?
• RQ4 제한된 작업 세트에서 사전 훈련된 기술 공간이 새로운 전문가 지침 없이도 더 넓은 범위의 조작 작업으로 일반화될 수 있는가?
• RQ5 기술 사전과 잔차 정책이 전체 학습 속도와 최종 성능에 기여하는 상대적 기여도는 어떠한가?

주요 결과

• 재현 분석에서 ReSkill는 스태킹 및 복잡한 후크 작업에서 기존 기준 방법보다 수렴 속도가 더 빠르며, 학습 가속화가 뚜렷하게 나타났다.
• ReSkill (No Skill Prior) 변종은 복잡한 스태킹 작업에서 효과적으로 학습하지 못했으며, 이는 초기 단계에서 관련 기술을 탐색할 수 있도록 하는 상태 조건화된 기술 사전의 핵심적 역할을 입증한다.
• ReSkill (No Residual) 변종은 전체 ReSkill 모델보다 낮은 최종 성능를 기록했으며, 이는 과도한 작업에서 높은 점근적 성능를 달성하기 위해 잔차 적응이 필수적임을 확인한다.
• Table-Cleanup 및 Complex-Hook 포함한 네 가지 조작 작업 전반에서 ReSkill는 샘플 효율성과 최종 수익 모두에서 SPiRL 및 기타 원자 행동 기반 방법을 능가한다.
• 작은 수의 고전적 제어기를 효과적으로 재사용하여 이전에 볼 수 없었던 다양한 작업을 해결할 수 있었으며, 원래 기술 분포를 초월한 강력한 일반화 능력을 입증한다.
• 재현 분석 결과 기술 사전이 'burn-in' 단계를 요구하는 KL 정규화 방법(예: SPiRL)과는 달리 관련 기술을 직접적으로 타겟팅해 샘플링할 수 있음을 확인했다.