[논문 리뷰] Zero-shot Imitation Learning from Demonstrations for Legged Robot Visual Navigation

Xinlei Pan, Tingnan Zhang외 4명|arXiv (Cornell University)|2019. 09. 27.

Human Pose and Action Recognition참고 문헌 42인용 수 5

한 줄 요약

이 논문은 제3자 시점에서 촬영한 인간의 시연 데이터를 사용하여 다리가 달린 로봇의 시각적 탐색 정책을 훈련하는 제로샷 일관성 학습 프레임워크를 제안한다. 특성 분리 네트워크(FDN)를 통해 시점 이동 문제를 해결하고, GUI 또는 역역학 모델을 통한 액션 레이블링을 가능하게 한다. 이는 시점 차이가 존재함에도 불구하고 거의 오라클 성능에 가까운 탐색 성공률을 달성하며, 시뮬레이션 및 실제 환경 모두에서 효과적인 일반화를 보여준다.

ABSTRACT

Imitation learning is a popular approach for training visual navigation policies. However, collecting expert demonstrations for legged robots is challenging as these robots can be hard to control, move slowly, and cannot operate continuously for a long time. Here, we propose a zero-shot imitation learning approach for training a visual navigation policy on legged robots from human (third-person perspective) demonstrations, enabling high-quality navigation and cost-effective data collection. However, imitation learning from third-person demonstrations raises unique challenges. First, these demonstrations are captured from different camera perspectives, which we address via a feature disentanglement network (FDN) that extracts perspective-invariant state features. Second, as transition dynamics vary across systems, we label missing actions by either building an inverse model of the robot's dynamics in the feature space and applying it to the human demonstrations or developing a Graphic User Interface(GUI) to label human demonstrations. To train a navigation policy we use a model-based imitation learning approach with FDN and labeled human demonstrations. We show that our framework can learn an effective policy for a legged robot, Laikago, from human demonstrations in both simulated and real-world environments. Our approach is zero-shot as the robot never navigates the same paths during training as those at testing time. We justify our framework by performing a comparative study.

연구 동기 및 목표

• 하드웨어 제약과 지속적인 운영의 어려움으로 인해 다리가 달린 로봇의 대규모 탐색 데이터 수집이 어려운 문제를 해결한다.
• 인간 시연자와 다리가 달린 로봇 간의 시각적 탐색 작업에서 발생하는 시점 차이로 인한 도메인 이동 문제를 해결한다.
• 훈련 중 테스트 경로를 포함하지 않고 인간의 시연 데이터로만 탐색 정책을 훈련하여 제로샷 일반화를 가능하게 한다.
• GUI 또는 학습된 역역학 모델을 통해 인간의 시연 데이터를 로봇이 사용할 수 있는 액션으로 스케일러블하게 레이블링하는 방법을 개발한다.
• 이 프레임워크의 효과성을 시뮬레이션 및 실제 환경 모두에서 목표 기반 시각적 탐색 작업에 대해 입증한다.

제안 방법

• 사이클 일致성 손실를 사용하여 시점에 영향을 받지 않는 상태 특성와 시점에 의존하는 특성로 분리하는 특성 분리 네트워크(FDN)를 활용한다.
• FDN이 분리된 특성에서 입력 이미지를 재구성하도록 훈련하여, 추출된 특성이 시점 변화에 대해 강건함을 보장한다.
• 사용자 정의 GUI 또는 잠재 특성 공간에서 이미지 쌍을 로봇 액션으로 매핑하는 역역학 모델을 학습하여 인간 시연의 액션을 레이블링한다.
• 모델 기반 일관성 학습 접근법을 사용하여 분리된 잠재 특성 공간에서 탐색 정책을 훈련시켜, 미리 보지 않은 목표에 대한 제로샷 일반화를 가능하게 한다.
• 시뮬레이션(내브월드, 오피스월드) 및 실제 환경에서 라이카고 다리가 달린 로봇에 이 프레임워크를 적용하며, 목표 이미지를 입력으로 사용한다.
• 시점 이동 상황에서 생성된 이미지와 진짜 이미지 간의 비교를 통해 FDN의 이미지 재구성 품질을 검증한다.

실험 결과

연구 질문

• RQ1 특성 분리 네트워크는 제3자 시점의 인간 시연에서 다리가 달린 로봇 탐색을 위한 시점에 영향을 받지 않는 특성을 효과적으로 추출할 수 있는가?
• RQ2 로봇이 훈련 중에 동일한 경로를 이동하지 않은 상황에서, 제안된 프레임워크가 새로운 테스트 작업에 얼마나 잘 일반화되는가?
• RQ3 인간 시연자와 로봇 간의 시점 차이가 성능에 미치는 영향은 무엇이며, 이를 효과적으로 완화할 수 있는가?
• RQ4 GUI 기반 레이블링과 학습된 역역학 모델 간의 두 가지 액션 레이블링 전략은 확장성과 정확성 측면에서 어떻게 비교되는가?
• RQ5 도메인 이동과 제한된 데이터가 존재하는 상황에서도, 이 프레임워크가 거의 오라클 성능에 도달할 수 있는가?

주요 결과

• 제안된 프레임워크는 시점 차이가 크더라도 내브월드와 오피스월드 모두에서 오라클 일관성 학습(UPN)의 성능에 근접한 탐색 성공률을 달성한다.
• 시점 이동이 존재하는 상황에서 베이스라인 UPN-PerspChange 방법은 일반화에 실패하지만, 제안된 방법은 강력한 성능을 유지하여 FDN이 도메인 이동 문제를 효과적으로 다루고 있음을 입증한다.
• FDN은 시점 변화 상황에서도 이미지를 성공적으로 재구성하여, 시점에 영향을 받지 않는 특성의 분리 능력을 검증한다.
• 비교 연구 결과, 시점 이동 상황에서 제안된 방법이 UPN-PerspChange를 능가함을 확인하여, 시점이 다를 경우 직접 정책 전이가 실패함을 시사한다.
• 오피스월드의 성공률이 내브월드보다 높은 것은 더 단순한 액션 공간(90도 회전 대비 30도 회전) 덕분이며, 이는 작업 복잡도가 일반화 성능에 영향을 준다는 것을 확인한다.
• 실제 환경 구현에서 수동 GUI 기반 액션 레이블링은 여전히 병목 현상이 되며, 시뮬레이션에서는 역역학 모델이 유망하지만, 실제 로봇에서는 이미지 흐림과 이산 액션 간의 불일치로 실패한다.