[논문 리뷰] CompILE: Compositional Imitation Learning and Execution

Thomas Kipf, Yujia Li외 6명|UvA-DARE (University of Amsterdam)|2018. 12. 04.

Domain Adaptation and Few-Shot Learning참고 문헌 50인용 수 11

한 줄 요약

CompILE는 소프트 시퀀스 분할을 통해 작업 경계와 잠재 인코딩을 동시에 발견함으로써, 주어진 데이터에서 조합적이고 길이가 가변적인 행동 세그먼트를 완전히 미분 가능한 비지도 학습 프레임워크로 학습한다. 이는 계층 강화 학습 에이전트가 학습된 하위 정책을 활용해 더 긴 시퀀스와 미지의 환경으로 일반화할 수 있도록 하여, 비보상이 빈도 높은 환경에서 샘플 효율성을 크게 향상시킨다. 비계층 에이전트가 실패하는 상황에서도 성능을 발휘한다.

ABSTRACT

We introduce Compositional Imitation Learning and Execution (CompILE): a framework for learning reusable, variable-length segments of hierarchically-structured behavior from demonstration data. CompILE uses a novel unsupervised, fully-differentiable sequence segmentation module to learn latent encodings of sequential data that can be re-composed and executed to perform new tasks. Once trained, our model generalizes to sequences of longer length and from environment instances not seen during training. We evaluate CompILE in a challenging 2D multi-task environment and a continuous control task, and show that it can find correct task boundaries and event encodings in an unsupervised manner. Latent codes and associated behavior policies discovered by CompILE can be used by a hierarchical agent, where the high-level policy selects actions in the latent code space, and the low-level, task-specific policies are simply the learned decoders. We found that our CompILE-based agent could learn given only sparse rewards, where agents without task-specific policies struggle.

연구 동기 및 목표

• 작업 레이블이 없는 상태에서 순차적 시연 데이터의 조합적이고 계층적인 구조를 발견하기 위해.
• 재사용 가능하고 길이가 가변적인 행동 세그먼트를 학습하여 새로운 행동을 재조합할 수 있도록 하기 위해.
• 학습된 하위 정책을 활용해 계층 강화 학습 에이전트가 희소 보상 작업을 해결할 수 있도록 하기 위해.
• 작업 경계와 잠재 인코딩을 동시에 식별하는 완전히 미분 가능한 비지도 분할 메커니즘을 개발하기 위해.
• 더 긴 시퀀스와 미지의 환경 또는 작업 조합으로의 일반화를 입증하기 위해.

제안 방법

• CompILE는 소프트 세그먼트 마스크를 사용하는 조건부 variational auto-encoder(VAE)를 활용하여, 상태-행동 트레이서를 순차적으로 접근하고 인코딩함으로써 재구성한다.
• Gumbel-Softmax 재구성 기법을 사용해 이산 잠재 변수로 간주되는 세그먼트 경계를 유연하게 모델링하여 미분 가능한 학습을 가능하게 한다.
• 각 세그먼트는 잠재 코드로 인코딩되며, 디코더는 학습된 잠재 코드의 순서를 실행하여 원래의 트레이서를 재구성한다.
• 추론 과정에서는 소프트 마스크를 이산적이고 연속적인 마스크로 대체하여 임의의 길이의 시퀀스를 반복적 분할을 통해 처리할 수 있도록 한다.
• 고수준 정책이 잠재 코드를 선택하고, 저수준 정책가 학습된 디코더인 계층적 에이전트를 지원한다.
• 전문가 시연의 정확한 재구성을 유도하는 자동인코딩 목표를 통해 엔드 투 엔드로 학습된다.

실험 결과

연구 질문

• RQ1 비지도 모델은 작업 레이블 없이도 원시 상태-행동 트레이서에서 의미 있고 재사용 가능한 행동 하위 서브루틴을 발견할 수 있는가?
• RQ2 학습된 세그먼트 경계와 잠재 코드는 더 긴 시퀀스와 미지의 환경으로 일반화되는가?
• RQ3 발견된 하위 정책은 비계층 에이전트가 실패하는 희소 보상 작업을 해결할 수 있도록 계층적 에이전트를 지원하는가?
• RQ4 다양한 분할 모듈은 이벤트 경계 식별과 작업 특화 행동 인코딩에 얼마나 효과적인가?
• RQ5 감독 없이도 잠재 코드가 의미론적 작업 구조에 얼마나 잘 뿌리내릴 수 있는가?

주요 결과

• CompILE 기반 계층적 에이전트는 다중 작업 그리드 월드 환경에서 모든 희소 보상 작업을 성공적으로 학습했으며, 비계층 기반 모델은 실패했다.
• 3개 작업의 시연 데이터로만 훈련된 모델이 5개 작업 구성으로도 일반화하여 성능을 발휘함으로써 강력한 조합적 일반화 능력을 입증했다.
• 희소 보상 설정에서 계층적 에이전트는 시드에 관계없이 일관된 학습 성능를 보였고, 저수준 기반 모델은 밀도 높은 하위 작업 보상 제공 시를 제외하고는 실패했다.
• 장소 기반 의미론적 환경(물체 기반 의미론이 아닌)에서도 모델은 신뢰할 수 있는 작업 경계와 효과적인 잠재 인코딩을 비지도 방식으로 발견했다.
• 학습 곡선의 지수 이동 평균을 통해 CompILE 기반 에이전트는 안정적이고 일관된 성능 향상을 보였으며, 희소 보상 환경에서는 기반 모델에 학습 신호가 전혀 없었다.
• 이 프레임워크는 계층적 의사결정에서 효율적인 탐색과 신용 할당을 가능하게 하여, 도전적인 제어 작업에서 샘플 효율성을 크게 향상시켰다.