[논문 리뷰] Zero-Shot Compositional Policy Learning via Language Grounding

Tianshi Cao, Jingkang Wang외 2명|arXiv (Cornell University)|2020. 04. 15.

Multimodal Machine Learning Applications참고 문헌 27인용 수 4

한 줄 요약

이 논문은 언어 기반을 통한 일반화를 가능하게 하는 새로운 제로샷 조합 정책 학습 프레임워크를 제안한다. 언어 기반을 통한 시각-역동성 분리된 환경(BabyAI++)을 도입함으로써, 강화학습 및 인식학습 설정 모두에서 제로샷 일반화 성능을 크게 향상시켰다. 특히, 새로운 조합의 환경 역동성에 대해 최대 20%까지 성공률 향상을 기록하였다.

ABSTRACT

Despite recent breakthroughs in reinforcement learning (RL) and imitation learning (IL), existing algorithms fail to generalize beyond the training environments. In reality, humans can adapt to new tasks quickly by leveraging prior knowledge about the world such as language descriptions. To facilitate the research on language-guided agents with domain adaption, we propose a novel zero-shot compositional policy learning task, where the environments are characterized as a composition of different attributes. Since there are no public environments supporting this study, we introduce a new research platform BabyAI++ in which the dynamics of environments are disentangled from visual appearance. At each episode, BabyAI++ provides varied vision-dynamics combinations along with corresponding descriptive texts. To evaluate the adaption capability of learned agents, a set of vision-dynamics pairings are held-out for testing on BabyAI++. Unsurprisingly, we find that current language-guided RL/IL techniques overfit to the training environments and suffer from a huge performance drop when facing unseen combinations. In response, we propose a multi-modal fusion method with an attention mechanism to perform visual language-grounding. Extensive experiments show strong evidence that language grounding is able to improve the generalization of agents across environments with varied dynamics.

연구 동기 및 목표

• 기존 강화학습/인식학습 알고리즘이 새로운 환경 역동성에 직면했을 때의 일반화 부족 문제를 해결하기 위해.
• 자연어 기반 설명을 통해 새로운 시각적 외관과 역동성 조합 간 지식 전이를 가능하게 하기 위해.
• 시각-역동성 쌍이 분리된 제로샷 조합 정책 학습을 지원하는 벤치마크 환경을 개발하기 위해.
• 학습 분포를 초월한 언어 기반의 일반화 향상 효과를 평가하기 위해.
• 언어 기반 설명과 시각적 특징을 정렬하는 다중 모odal 융합 방법을 제안하여 정책 일반화를 향상시키기 위해.

제안 방법

• 시각적 외관과 역동성을 분리하여 다양한 시각-역동성 조합을 가능하게 하는 새로운 환경 플랫폼인 BabyAI++를 제안한다.
• 각 시각-역동성 조합에 대해 프로시저럴로 환경 역동성을 생성하고, 해당 조합에 대응하는 자연어 기반 설명 텍스트를 생성한다.
• 언어 임베딩을 시각적 특징 맵의 공간적 위치에 할당하는 다중 모달 주의 기반 융합 기법(MMA)을 개발한다.
• 교차 주의를 통해 언어 기반 설명을 특정 시각적 영역에 기반화시켜 동적 정책 적응을 가능하게 한다.
• 생성된 환경 구성에 대해 강화학습 및 인식학습을 통해 정책을 훈련시킨다.
• 테스트 시에 새로운 시각-역동성 조합를 제거하여 일반화 성능을 평가한다.

실험 결과

연구 질문

• RQ1 언어 기반 기반으로 인해 제로샷 설정에서 새로운 시각적 외관과 역동성 조합에 일반화할 수 있는가?
• RQ2 기존 언어 유도 강화학습/인식학습 방법의 성능은 새로운 시각-역동성 쌍에 대해 어떻게 저하되는가?
• RQ3 의미 있는 기술적 설명 텍스트는 무작위 또는 뒤섞인 텍스트에 비해 제로샷 일반화에 얼마나 더 효과적인가?
• RQ4 공간적으로 정렬된 주의 기반의 다중 모달 융합은 조합적 환경 변화에 따른 정책 일반화를 어떻게 향상시키는가?
• RQ5 기본적인 융합 방법(예: 연결 또는 FiLM)과 비교해 볼 때 제안된 MMA 방법은 제로샷 조합 일반화에서 어떻게 성능을 내는가?

주요 결과

• 강화학습 환경에서 MMA는 GoTo-v1에서 성공률 0.575 ± 0.016를 기록하여 베이스라인(0.471 ± 0.016)과 연결 기반 베이스라인(0.323 ± 0.015)을 크게 앞서며 성능을 높였다.
• 인식학습 환경에서 MMA는 GoTo-v1에서 성공률 0.635 ± 0.015를 기록하여 최고의 베이스라인인 FiLM(0.692 ± 0.015)을 초월했으며, 다음으로 좋은 방법인 연결 기반 방법(0.475 ± 0.016)보다도 뛰어난 성능을 보였다.
• 더 복잡한 GoTo-v2 환경에서 MMA는 강화학습 설정에서 성공률 0.405 ± 0.016를 기록하여, 베이스라인(0.283 ± 0.014)과 연결 기반 방법(0.216 ± 0.013)을 모두 앞섰다.
• 제거 실험 결과, 의미 있는 기술적 설명 텍스트가 성능 향상에 필수적임을 확인하였으며, 무작위 또는 뒤섞인 텍스트는 유의미하게 열악한 성능을 보였다.
• 주의 가중치의 시각화 결과, 모델이 언어 기반 설명을 특정 시각적 위치(예: 목표 물체)에 정확히 기반화하는 것을 확인하였다.
• 제거된 시각-역동성 조합에 대해 테스트했을 때, 제안된 방법은 베이스라인 대비 성능 저하가 상당히 낮게 유지되어, 새로운 속성과 역동성에 효과적으로 일반화됨을 입증하였다.