[논문 리뷰] Language-Conditioned Goal Generation: a New Approach to Language Grounding for RL

Cédric Colas, Ahmed Akakzia외 3명|arXiv (Cornell University)|2020. 06. 12.

Multimodal Machine Learning Applications참고 문헌 38인용 수 6

한 줄 요약

이 논문은 강화학습에서 언어 기반 지도 학습의 새로운 접근법인 언어 조건부 목표 생성을 제안한다. 이 방법은 언어 습득을 센서모터 정책 학습에서 분리함으로써, 동일한 지시어에 대해 다양한 행동을 가능하게 하면서도 일반화 능력을 유지한다. 자연어 지시어에서 언어에 종속되지 않는 목표 상태를 생성하는 생성 모델을 훈련시켜, 동일한 지시어에 대해 다양한 행동을 유도함으로써 일반화 능력과 행동 다양성을 동시에 향상시킨다. 블록 쌓기 환경에서의 실험을 통해 제로샷 일반화 능력 향상과 행동 다양성 향상을 입증하였다.

ABSTRACT

In the real world, linguistic agents are also embodied agents: they perceive and act in the physical world. The notion of Language Grounding questions the interactions between language and embodiment: how do learning agents connect or ground linguistic representations to the physical world ? This question has recently been approached by the Reinforcement Learning community under the framework of instruction-following agents. In these agents, behavioral policies or reward functions are conditioned on the embedding of an instruction expressed in natural language. This paper proposes another approach: using language to condition goal generators. Given any goal-conditioned policy, one could train a language-conditioned goal generator to generate language-agnostic goals for the agent. This method allows to decouple sensorimotor learning from language acquisition and enable agents to demonstrate a diversity of behaviors for any given instruction. We propose a particular instantiation of this approach and demonstrate its benefits.

연구 동기 및 목표

• 직접적인 언어 조건부 학습의 한계, 즉 정책 학습 전반에 걸쳐 언어에 의존하는 것과 낮은 행동 다양성 등의 문제를 해결하기 위해.
• 유아의 언어 이전 발달 단계를 모방하기 위해 에이전트가 언어와 무관하게 센서모터 정책을 학습할 수 있도록 하기 위해.
• 언어가 추상적이고 일반화 가능한 목표를 표현할 수 있는 능력을 활용하면서도, 동일한 지시어에 대해 여러 개의 서로 다른 행동을 가능하게 하기 위해.
• 예측 불가능한 조합의 술어와 논리 표현식에 대한 제로샷 일반화 능력을 향상시키기 위해.

제안 방법

• 변동형 오토인코더(VAE)를 사용하여 자연어 지시어에 조건부로 언어에 종속되지 않는 목표 상태(이진 벡터)를 생성하도록 훈련한다.
• 모델은 두 개의 스트림 인코더를 사용한다: 하나는 초기 환경 상태에 대한 것이고, 다른 하나는 100차원 임bedding을 사용하는 GRU를 통해 지시어 임베딩을 처리한다.
• 잠재 공간은 표준 정규분포 사전을 사용한 쿨백-라이블러 발산 손실을 통해 정규화되며, 재구성 정확도를 위해 이진 교차 엔트로피 손실과 병합된다.
• 디코더는 ReLU 활성화 함수를 사용하는 완전 연결 네트워크를 통해 이진 목표 벡터를 생성한다.
• 모델은 BCE_loss + β × KL_loss의 병합 손실 함수를 사용하여 엔드 투 엔드로 훈련되며, β = 0.6으로 설정된다.
• 은닉층 크기, 학습률, 잠재 차원, β 값 등의 하이퍼파rameter를 탐색하였으며, 다양한 설정에서 안정적인 성능을 기록하였다.

실험 결과

연구 질문

• RQ1 언어 조건부 목표 생성은 고정된 정책을 사용하더라도 동일한 지시어에 대해 행동 다양성을 가능하게 할 수 있는가?
• RQ2 정책 학습에서 언어를 분리함으로써, 새로운 논리적 조합의 술어에 대한 일반화 능력이 향상되는가?
• RQ3 모델은 추상적이고 복합적인 지시어에 대해 다양하고 타당한 목표 상태를 얼마나 잘 생성할 수 있는가?
• RQ4 행동 동작 어휘와 물체 속성의 새로운 조합에 대해 제로샷 일반화 능력이 어느 정도로 유지되는가?
• RQ5 자연어에서 고수준의 공간적 추론(예: 쌓기, 인접성)을 지원하는 목표를 생성할 수 있는가?

주요 결과

• 모델은 주어진 지시어에 대해 다양하고 타당한 목표 상태를 성공적으로 생성하여, 동일한 미리 훈련된 정책 하에서 여러 개의 서로 다른 행동을 가능하게 하였다.
• 이 방법은 예측 불가능한 술어 조합, 특히 'A 및 B' 또는 '(A 및 B) 또는 (C 및 D)'와 같은 논리 표현식과 부정을 포함한 조합에 대해 강력한 제로샷 일반화 능력을 달성하였다.
• 테스트 세트 4에서는 20개의 고유한 지시어 쌍에 대해 평균 9.5개의 호환 가능한 최종 구성이 생성되었으며, 이는 높은 일반화 능력을 시사한다.
• 복합적인 논리 조합을 포함하는 테스트 세트 5에서는 각각 6개와 13개의 호환 가능한 목표를 생성하여 복합 언어에 대한 뛰어난 내구성을 입증하였다.
• 하이퍼파rameter 분석 결과, β = 0.6, 128차원 은닉층 크기, 0.005 학습률, 27차원 잠재 공간에서 최적의 성능가능성이 확인되었으며, 다양한 설정에서 안정적인 성능이 유지되었다.