[논문 리뷰] Learning Navigation Subroutines from Egocentric Videos

Ashish Kumar, Saurabh Gupta외 1명|arXiv (Cornell University)|2019. 05. 29.

Robotic Path Planning Algorithms참고 문헌 47인용 수 10

한 줄 요약

이 논문은 최소한의 상호작용 데이터를 사용하여 역역학 모델을 적용해 행동을 의사라벨링하고, 궤적을 클러스터링하여 이산적인 하위순서를 학습하는 자기지도 학습 방법을 제안한다. 이 방법은 샘플 효율적인 계층적 강화학습을 위한 내비게이션에 적용되며, 기준보다 최대 4배 빠른 학습 속도를 달성하고, 200배 더 많은 데이터로 학습된 방법들을 능가한다.

ABSTRACT

Planning at a higher level of abstraction instead of low level torques improves the sample efficiency in reinforcement learning, and computational efficiency in classical planning. We propose a method to learn such hierarchical abstractions, or subroutines from egocentric video data of experts performing tasks. We learn a self-supervised inverse model on small amounts of random interaction data to pseudo-label the expert egocentric videos with agent actions. Visuomotor subroutines are acquired from these pseudo-labeled videos by learning a latent intent-conditioned policy that predicts the inferred pseudo-actions from the corresponding image observations. We demonstrate our proposed approach in context of navigation, and show that we can successfully learn consistent and diverse visuomotor subroutines from passive egocentric videos. We demonstrate the utility of our acquired visuomotor subroutines by using them as is for exploration, and as sub-policies in a hierarchical RL framework for reaching point goals and semantic goals. We also demonstrate behavior of our subroutines in the real world, by deploying them on a real robotic platform. Project website: https://ashishkumar1993.github.io/subroutines/.

연구 동기 및 목표

• 전문가 행동 레이블 없이 수동적인 시각지향 비디오에서 재사용 가능하고 일관된 시각운동 하위순서를 학습하는 것.
• 비디오에서 학습한 하위순서를 초기화 정책로 사용하여 내비게이션을 위한 계층적 강화학습의 샘플 효율성을 향상시키는 것.
• 비정형 시각지향 비디오 데이터에서 유도된 의사라벨링된 하위순서만을 사용하여 제로샷 탐색과 후속 작업 학습을 가능하게 하는 것.
• 학습된 하위순서를 실제 물리적 로봇 플랫폼에 구현하는 것.

제안 방법

• 작은 양의 무작위 상호작용 데이터를 기반으로 자기지도 학습 역역학 모델을 훈련하여 이미지 전이에서 행동을 예측한다.
• 역역학 모델을 사용해 전문가 시각지향 비디오의 행동을 의사라벨링한다. 연속된 이미지 쌍을 설명할 수 있는 행동을 추론한다.
• 전문가 궤적을 고정된 길이의 하위궤적들로 자르며, 후보 하위순서를 정의한다.
• 이미지 관측치에서 이산적인 잠재 코드로 매핑하는 잠재 의도 조건 정책을 학습한다. 이는 의사라벨링된 행동을 예측하는 데 기여한다.
• 주어진 이미지 관측치에서 어떤 하위순서가 적용 가능한지를 예측하는 능력 모델을 훈련한다.
• 포인트 목표 및 영역 목표 내비게이션 작업을 위한 계층적 강화학습 프레임워크에서 하위순서와 능력 모델을 미세조정한다.

실험 결과

연구 질문

• RQ1 명시적인 행동 레이블 없이 비정형 시각지향 비디오에서 시각운동 하위순서를 성공적으로 추출할 수 있는가?
• RQ2 비디오 데이터에서 학습한 하위순서는 새로운 환경에서 제로샷 탐색을 얼마나 효과적으로 가능하게 하는가?
• RQ3 이러한 하위순서는 내비게이션 작업을 위한 계층적 강화학습의 샘플 효율성을 어느 정도 향상시키는가?
• RQ4 학습된 하위순서는 실제 세계의 로봇 구현에 일반화될 수 있는가?

주요 결과

• 제안된 방법은 포인트 목표 및 영역 목표 내비게이션 작업 모두에서 랜덤 및 ImageNet 초기화 기준보다 최대 4배 빠른 학습 속도를 달성했다.
• 이 방법은 DIAYN 및 커리오시티와 같은 최첨단 스킬 학습 방법들을 능가했으며, 이들 방법은 1000만 건의 상호작용 데이터(45,000건 대비)로 학습된 반면 본 방법은 훨씬 적은 데이터로 학습되었다.
• 능력 모델은 효과적인 하위순서 선택을 가능하게 하여, 새로운 환경에서 탐색 성공률을 여러 기준 및 비학습 기반 방법보다 50% 높게 달성했다.
• 비디오 데이터에서 학습한 하위순서는 실제 로봇 플랫폼에 성공적으로 구현되어 실제 세계 일반화 능력을 입증했다.
• 희소 보상 환경에서도 뛰어난 성능을 보였으며, 이는 보상이 희소할수록 성과가 더 크게 향상되어 희소 지도에 대한 강건성을 보였다.
• 모노리식 및 계층적 정책 모두 커리오시티 또는 DIAYN로 초기화된 경우 일부 설정에서 임계 정책으로 붕괴되는 것과는 달리, 본 방법은 더 우수한 성능을 보였다.