[논문 리뷰] Compositional Imitation Learning: Explaining and executing one task at a time
CompILE는 원시 시연 데이터에서 재사용 가능한 가변 길이 행동 세그먼트를 발견하기 위해 비지도 학습 및 미분 가능한 시퀀스 분할 모듈을 사용하는 구성적 타깃 학습 프레임워크를 제안한다. 자동에코딩을 통해 훈련되며, 희박한 보상 환경에서 새로운 작업을 계층적으로 실행할 수 있게 하여, 비계층적 에이전트에 비해 더 높은 성능을 발휘한다. 이는 학습된 잠재 코드에서 작업별 정책을 학습함으로써 달성된다.
We introduce a framework for Compositional Imitation Learning and Execution (CompILE) of hierarchically-structured behavior. CompILE learns reusable, variable-length segments of behavior from demonstration data using a novel unsupervised, fully-differentiable sequence segmentation module. These learned behaviors can then be re-composed and executed to perform new tasks. At training time, CompILE auto-encodes observed behavior into a sequence of latent codes, each corresponding to a variable-length segment in the input sequence. Once trained, our model generalizes to sequences of longer length and from environment instances not seen during training. We evaluate our model in a challenging 2D multi-task environment and show that CompILE can find correct task boundaries and event encodings in an unsupervised manner without requiring annotated demonstration data. Latent codes and associated behavior policies discovered by CompILE can be used by a hierarchical agent, where the high-level policy selects actions in the latent code space, and the low-level, task-specific policies are simply the learned decoders. We found that our agent could learn given only sparse rewards, where agents without task-specific policies struggle.
연구 동기 및 목표
- 원시 시연 시퀀스에서 재사용 가능한 행동 세그먼트를 발견함으로써 작업 애너테이션 없이 계층적 타깃 학습을 가능하게 하기.
- 시연 데이터의 가변 길이 행동 세그먼트를 식별하는 완전히 미분 가능한 비지도 시퀀스 분할 모듈을 개발하기.
- 학습된 잠재 코드 표현을 통해 더 긴 시퀀스와 훈련 중에 보지 못한 환경으로의 일반화를 가능하게 하기.
- 학습된 잠재 코드를 고수준 행동으로 사용하고 디코더를 저수준 정책으로 사용함으로써 계층적 의사결정을 지원하기.
- 학습된 행동에서 파생된 작업별 정책을 활용하여 희박 보상 환경에서 샘플 효율성을 향상시키기.
제안 방법
- 시연 시퀀스를 잠재 코드의 시퀀스로 인코딩하기 위해 시퀀스 오토에코더 아키텍처를 사용하며, 각 잠재 코드는 가변 길이 행동 세그먼트를 나타낸다.
- 새로운 완전히 미분 가능한 모듈을 통해 비지도로 시퀀스를 의미 있는 행동 단위로 분할하는 시퀀스 분할을 수행한다.
- 각 잠재 코드는 코드에서 저수준 행동 시퀀스로 매핑하는 디코더 정책과 연결되어 있으며, 학습된 행동의 실행을 가능하게 한다.
- 고수준 정책은 잠재 코드 공간에서 작동하여 새로운 작업 시퀀스를 구성하기 위해 코드를 선택한다.
- 입력 시퀀스의 무결성을 유지하면서 분리된, 재사용 가능한 행동을 학습하기 위해 복원 손실을 사용하여 엔드 투 엔드로 모델을 훈련한다.
- 학습된 잠재 코드의 조합적 성질과 관련된 정책을 통해 훈련 중에 보지 못한 더 긴 시퀀스와 환경으로의 일반화를 달성한다.
실험 결과
연구 질문
- RQ1비지도로 미분 가능한 시퀀스 분할 모듈이 비정형 시연 시퀀스에서 의미 있는 재사용 가능한 행동 세그먼트를 발견할 수 있는가?
- RQ2학습된 잠재 코드와 관련된 정책이 새로운, 더 긴, 또는 훈련 중에 보지 못한 작업의 효과적인 계층적 실행을 가능하게 하는가?
- RQ3학습된 디코더를 갖춘 계층적 에이전트 아키텍처가 희박 보상 환경에서 샘플 효율성을 향상시키는가?
- RQ4애너테이션 데이터 없이도 모델이 올바른 작업 경계와 이벤트 인코딩을 얼마나 정확히 식별하는가?
- RQ5모델이 훈련 중에 보지 못한 환경과 시퀀스 길이로 얼마나 잘 일반화되는가?
주요 결과
- CompILE는 시연 데이터에 대한 애너테이션을 요구하지 않고도 비지도로 작업 경계와 이벤트 인코딩을 성공적으로 식별한다.
- 모델은 훈련 중에 본 것보다 더 긴 길이의 시퀀스로 일반화되며, 조합적 일반화를 보여준다.
- 학습된 디코더를 갖춘 계층적 에이전트는 작업별 정책이 없는 에이전트에 비해 희박 보상 환경에서 더 높은 성능을 발휘한다.
- 학습된 잠재 코드는 재사용 가능한 가변 길이 행동 세그먼트를 나타내며, 새로운 작업 시퀀스를 구성하기 위해 재조합될 수 있다.
- 완전히 미분 가능한 분할 모듈은 엔드 투 엔드 훈련과 원시 시퀀스에서 행동 구성 요소의 안정적 발견을 가능하게 한다.
- 프레임워크는 잠재 코드 공간을 통해 학습된 행동을 조합함으로써 훈련 중에 보지 못한 환경로의 효과적인 제로샷 전이를 가능하게 한다.
더 나은 연구,지금 바로 시작하세요
논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.