[논문 리뷰] XIRL: Cross-embodiment Inverse Reinforcement Learning

Kevin Zakka, Andy Zeng외 4명|arXiv (Cornell University)|2021. 06. 07.

Reinforcement Learning in Robotics참고 문헌 52인용 수 10

한 줄 요약

XIRL은 제3자 시점의 시연 영상에서 시간 순환 일관성(temoral cycle-consistency)을 활용해 신체적 특성에 영향을 받지 않는 시각적 표현을 자기지도 학습 방식으로 학습하는 자기지도 역강화학습 방법을 제안한다. 이는 다양한 로봇 신체적 특성에 걸쳐 강화학습 정책을 훈련하기 위한 강력하고 조밀한 보상 함수를 가능하게 하며, 이는 시뮬레이션 및 실제 환경 벤치마크에서 이전 방법들을 능가하는 더 높은 샘플 효율성과 제로샷 일반화 성능을 달성한다.

ABSTRACT

We investigate the visual cross-embodiment imitation setting, in which agents learn policies from videos of other agents (such as humans) demonstrating the same task, but with stark differences in their embodiments -- shape, actions, end-effector dynamics, etc. In this work, we demonstrate that it is possible to automatically discover and learn vision-based reward functions from cross-embodiment demonstration videos that are robust to these differences. Specifically, we present a self-supervised method for Cross-embodiment Inverse Reinforcement Learning (XIRL) that leverages temporal cycle-consistency constraints to learn deep visual embeddings that capture task progression from offline videos of demonstrations across multiple expert agents, each performing the same task differently due to embodiment differences. Prior to our work, producing rewards from self-supervised embeddings typically required alignment with a reference trajectory, which may be difficult to acquire under stark embodiment differences. We show empirically that if the embeddings are aware of task progress, simply taking the negative distance between the current state and goal state in the learned embedding space is useful as a reward for training policies with reinforcement learning. We find our learned reward function not only works for embodiments seen during training, but also generalizes to entirely new embodiments. Additionally, when transferring real-world human demonstrations to a simulated robot, we find that XIRL is more sample efficient than current best methods. Qualitative results, code, and datasets are available at https://x-irl.github.io

연구 동기 및 목표

• 다양한 신체적 특성을 가진 전문가의 제3자 시점 영상에서 액션 레이블이 없이 정책을 학습하는 문제에 대응한다.
• 신체적 특성 격차(예: 인간 손과 로봇 그립퍼)로 인해 다양한 에이전트 간 궤적을 정렬하는 데 어려움을 해결한다.
• 쌍방향이 아닌 시연 영상에서부터 액션 레이블이 없는 자기지도 학습 방법을 통해 조밀하고 작업 진행 상황을 인지하는 보상 함수를 학습한다.
• 단지 사전 훈련된 시각적 임bedding만을 사용하여 새로운, 볼 수 없는 로봇 신체적 특성에 대해 정책을 제로샷으로 전이할 수 있도록 한다.
• 제체 간 이민학습 방법을 평가하기 위한 벤치마크와 실제 환경 데이터셋을 구축한다.

제안 방법

• 신체적 특성 차이에 영향을 받지 않는 시각적 표현을 학습하기 위해 시간 순환 일관성(TCC)을 활용하여 비전 인코더를 훈련한다.
• 훈련된 인코더를 사용해 영상 프레임을 작업 진행 상황이 유지되는 공통 임베딩 공간으로 매핑한다.
• 학습된 임베딩 공간에서 현재 상태와 목표 상태 간의 L2 거리의 음수를 조밀한 보상으로 정의한다.
• 지식 기반 액션 또는 궤적 정렬이 필요 없이 자기지도 보상으로 후행 강화학습 정책을 훈련한다.
• 다양한 형태의 시뮬레이션된 에이전트와 실제 인간 시연 영상을 기반으로 시뮬레이션된 로봇에 적용한다.
• 데이터 증강(색상 왜곡, 무작위 컷, Grayscale, 블러)과 대비 학습 목표를 활용해 임베딩 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 다양한 전문가 시연 영상에서 학습된 자기지도 시각적 표현은 신체적 특성 차이에 영향을 받지 않도록 작업 진행 상황을 포괄할 수 있는가?
• RQ2 그러한 표현은 새로운 로봇 신체적 특성에 대해 일반화 가능한 조밀한 보상 함수를 정의하는 데 사용될 수 있는가?
• RQ3 XIRL은 제체 간 설정에서 이전의 이민학습 및 역강화학습 방법과 비교해 샘플 효율성과 최종 성능 면에서 어떻게 성능을 내는가?
• RQ4 실제 인간 시연 영상에서 학습한 보상 함수는 다른 신체적 특성을 가진 시뮬레이션된 로봇에 얼마나 잘 전이될 수 있는가?
• RQ5 TCC 손실과 다중 신체적 특성 사전 훈련에서 유도되는 인식적 편향은 제로샷 일반화를 가능하게 하는 데 어떤 역할을 하는가?

주요 결과

• XIRL은 지식 기반 액션 애너테이션 없이도 작업 진행 상황을 유지하고 효과적인 조밀한 보상 설계를 가능하게 하는 시각적 표현을 학습한다.
• 학습된 임베딩 공간에서 현재 상태와 목표 상태 간의 음수 L2 거리는 강화학습을 위한 매우 효과적이고 일반화 가능한 보상으로 기능한다.
• 기본 설정 방법 대비 XIRL은 뛰어난 샘플 효율성을 보이며, 일부 에이전트는 지식 기반 희박한 보상보다도 더 빠르게 학습한다.
• 훈련 중에 볼 수 없었던 새로운 로봇 신체적 특성에 대해 제로샷으로 일반화되며, 인간 영상에서 시뮬레이션된 Sawyer 로봇으로의 실제 환경 전이에서도 성능을 발휘한다.
• X-MAGICAL 벤치마크에서 XIRL은 네 가지의 다른 시뮬레이션된 신체적 특성에 대해 기존의 이민학습 및 역강화학습 방법을 크게 능가한다.
• 질적 t-SNE 시각화 결과 XIRL 임베딩은 다양한 전문가의 궤적을 정렬하고, 목표까지의 거리와 실제 작업 진행 상황 간의 상관관계를 확인한다.