[논문 리뷰] Improving Policy Learning via Language Dynamics Distillation

Victor W. Zhong, Jesse Mu외 3명|arXiv (Cornell University)|2022. 09. 30.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 언어 기반 설명이 첨부된 레이블이 없는 시연 데이터로부터 환경의 동역학을 예측하도록 미세조정하는 모델을 사전학습하는 언어 동역학 정련(Language Dynamics Distillation, LDD)을 제안한다. 이후 강화학습을 통해 정교화하면서 언어 기반 표현을 정련한다. LDD는 샘플 효율성과 일반화 능력을 향상시키며, NetHack, ALFWorld, RTFM, Messenger, Touchdown 등 다섯 개인 언어 기반 환경에서 표준 강화학습, VAE 사전학습, 전문가 기반 보상 설계 방식을 모두 능가한다.

ABSTRACT

Recent work has shown that augmenting environments with language descriptions improves policy learning. However, for environments with complex language abstractions, learning how to ground language to observations is difficult due to sparse, delayed rewards. We propose Language Dynamics Distillation (LDD), which pretrains a model to predict environment dynamics given demonstrations with language descriptions, and then fine-tunes these language-aware pretrained representations via reinforcement learning (RL). In this way, the model is trained to both maximize expected reward and retain knowledge about how language relates to environment dynamics. On SILG, a benchmark of five tasks with language descriptions that evaluate distinct generalization challenges on unseen environments (NetHack, ALFWorld, RTFM, Messenger, and Touchdown), LDD outperforms tabula-rasa RL, VAE pretraining, and methods that learn from unlabeled demonstrations in inverse RL and reward shaping with pretrained experts. In our analyses, we show that language descriptions in demonstrations improve sample-efficiency and generalization across environments, and that dynamics modelling with expert demonstrations is more effective than with non-experts.

연구 동기 및 목표

• 희박하고 지연된 보상이 주어지는 강화학습 환경에서 복잡한 언어 추상화를 어떻게 기반화할 것인지에 도전한다.
• 강화학습에서 언어 이해와 정책 최적화를 분리하는 데 어려움을 해결한다.
• 언어 기반 설명이 첨부된 저비용의 레이블이 없는 시연 데이터를 활용해 언어 기반 정책 학습의 샘플 효율성과 일반화 능력을 향상시킨다.
• 전문가 시연와 비전문가 시연를 사용한 동역학 모델링이 초기화 및 정련 신호에 어떤 영향을 미치는지 조사한다.
• 사전학습 단계와 후속 정책 학습 단계에서 언어 기반 설명이 기여하는 바를 평가한다.

제안 방법

• 레이블이 없는 시연 데이터를 사용해 이전 관측치로부터 다음 관측치(언어 기반 설명 포함)를 예측하도록 교사 모델을 사전학습한다.
• 강화학습 중에 사전학습된 교사 모델을 사용해 정책 학습자에게 중간 표현을 정련한다.
• 누적 보상 최적화를 위해 언어 기반 동역학 지식을 유지하면서 지식 정련을 적용한다.
• 행동 레이블이 필요 없는 저비용으로 수집된 레이블이 없는 시연 데이터를 사용해 동역학 모델을 훈련시켜 비용을 회피한다.
• 고정된 교사 모델에서 정책 네트워크를 강화학습을 통해 정교화하면서 언어 이해 능력의 치명적 손실을 방지한다.
• 관측치에 언어 기반 설명(예: 이벤트 메시지, 공간적 캡션 등)을 입력으로 포함시켜 기반화 및 동역학 모델링을 향상시킨다.

실험 결과

연구 질문

• RQ1 언어 기반 설명이 첨부된 레이블이 없는 시연 데이터를 기반으로 동역학 모델을 사전학습하면 강화학습의 후속 정책 학습에 도움이 될 수 있는가?
• RQ2 사전학습된 동역학 모델에서 언어 기반 표현을 정련하면 언어 기반 환경에서 샘플 효율성과 일반화 능력이 향상되는가?
• RQ3 시연 품질(전문가 대비 비전문가)이 동역학 모델링 및 후속 정책 정련의 효과성에 어떤 영향을 미치는가?
• RQ4 관측치에 포함된 언어 기반 설명이 동역학 모델 정확도와 최종 정책 성능 향상에 얼마나 기여하는가?
• RQ5 VAE 사전학습, 역강화학습, 또는 사전학습된 전문가 기반 보상 설계와 비교했을 때 언어 동역학 정련이 더 효과적인가?

주요 결과

• LDD는 SILG 벤치마크의 다섯 환경 전반에서 표준 강화학습, VAE 사전학습, 전문가 기반 보상 설계 방식을 모두 능가한다.
• NetHack와 Touchdown 환경에서, 동역학 사전학습 시 관측치에서 언어 기반 설명을 제거하면 성능이 크게 떨어지며, 이는 초기화 및 정련 과정에서 언어 기반 설명의 핵심적 역할을 보여준다.
• 전문가 시연 데이터로 훈련된 동역학 모델은 비전문가 시뮬레이션을 사용한 경우보다 더 높은 프레임 예측 정확도를 기록하며, 특히 부분관측 환경인 NetHack과 Touchdown에서 두드러진다.
• LDD는 기준 모델 대비 더 빠른 수렴 속도와 더 높은 평가 승리 비율을 달성했으며, Touchdown를 제외한 모든 환경에서 그러한 성능을 보였다. Touchdown에서는 훈련 성능은 낮았지만 평가 성능은 높았다.
• 언어 기반 설명은 동역학 모델의 정확도를 향상시키며, 이는 더 나은 정책 초기화 및 정련 성과로 이어진다.
• 특히 장기 계획이 필요하거나 희귀 상태 탐색이 필요한 복잡한 환경에서는 전문가 시연가 비전문가 시뮬레이션보다 더 유용한 동역학 신호를 제공한다.