[논문 리뷰] Grounding Language to Autonomously-Acquired Skills via Goal Generation

Ahmed Akakzia, Cédric Colas외 3명|arXiv (Cornell University)|2020. 06. 12.

Reinforcement Learning in Robotics참고 문헌 37인용 수 15

한 줄 요약

이 논문은 언어 기반 행동을 위한 언어-목표-행동(LGB) 아키텍처를 제안한다. 이 아키텍처는 공간 관계의 중간 의미 표현을 통해 내재적 동기 부여 기반 스킬 학습과 언어 기반 통합을 분리한다. 에이전트가 의미적 목표를 자율적으로 탐색한 후 조건부 VAE를 사용해 언어 명령어로부터 이를 생성함으로써, 동일한 지시어에 대해 다양한 전략 전환 행동을 가능하게 한다. 이는 스킬 학습의 효율성과 확장성을 높인 조작 환경에서 입증되었다.

ABSTRACT

We are interested in the autonomous acquisition of repertoires of skills. Language-conditioned reinforcement learning (LC-RL) approaches are great tools in this quest, as they allow to express abstract goals as sets of constraints on the states. However, most LC-RL agents are not autonomous and cannot learn without external instructions and feedback. Besides, their direct language condition cannot account for the goal-directed behavior of pre-verbal infants and strongly limits the expression of behavioral diversity for a given language input. To resolve these issues, we propose a new conceptual approach to language-conditioned RL: the Language-Goal-Behavior architecture (LGB). LGB decouples skill learning and language grounding via an intermediate semantic representation of the world. To showcase the properties of LGB, we present a specific implementation called DECSTR. DECSTR is an intrinsically motivated learning agent endowed with an innate semantic representation describing spatial relations between physical objects. In a first stage (G -> B), it freely explores its environment and targets self-generated semantic configurations. In a second stage (L -> G), it trains a language-conditioned goal generator to generate semantic goals that match the constraints expressed in language-based inputs. We showcase the additional properties of LGB w.r.t. both an end-to-end LC-RL approach and a similar approach leveraging non-semantic, continuous intermediate representations. Intermediate semantic representations help satisfy language commands in a diversity of ways, enable strategy switching after a failure and facilitate language grounding.

연구 동기 및 목표

• 엔드 투 엔드 언어 조절 강화 학습(LC-RL)의 한계를 해결하기 위해, 스킬 학습과 언어 기반 통합을 결합함으로써 행동의 다양성을 제한하는 문제를 해결한다.
• 외부 보상이나 지시 없이 내재적 동기 부여와 자율적 학습을 통해 스킬을 획득할 수 있도록 하여, 언어 이전의 유아 발달을 모방한다.
• 단일 언어 지시어로 다수의 유효한 의미적 목표 구성(configuration)을 생성함으로써 전략 전환과 실패에 대한 내성성을 가능하게 한다.
• 의미 표현이 연속적 또는 비의미적 표현보다 언어 기반 통합의 효율성과 확장성 향상에 기여함을 입증한다.

제안 방법

• 에이전트는 물리적 물체의 의미적 구성(configuration)을 표현하기 위해 물체 중심의 인덕티브 비이즈와 사전 정의된 공간 술어(predicates, 예: '빨간 블록이 초록 블록 위에 있다')를 사용한다.
• 스킬 학습 단계(g → b)에서는 에이전트가 내재적 호기심과 목표 달성 가능성에 기반한 보상으로 자율적으로 탐색하고, 스스로 생성한 의미적 구성(configuration)을 목표로 삼는다.
• 언어 기반 통합 단계(l → g)에서는 조건부 변동형 오토인코더(c-VAE)를 훈련시어 자연어 지시어를 일치하는 의미적 목표 구성(configuration)으로 매핑한다.
• 두 단계를 조합하여, 의미적 목표를 학습한 후 c-VAE를 사용해 언어에서 목표를 생성함으로써 지시어 수행 행동을 가능하게 한다.
• 관계 술어로 정의된 의미 표현 공간은 물리적 상태에 대한 추상화를 가능하게 하여 수동으로 설계된 교육 과정의 필요성을 줄인다.
• 그래프 신경망과 딥 세트를 통해 가변 크기의 입력을 지원함으로써, 동적 물체 집합에 대한 확장성을 확보한다.

실험 결과

연구 질문

• RQ1 에이전트는 외부 보상이나 지시 없이 내재적 동기 부여와 의미적 목표 표현만을 사용해 자율적으로 스킬의 보편성을 학습할 수 있는가?
• RQ2 스킬 학습과 언어 기반 통합을 분리함으로써 엔드 투 엔드 LC-RL 대비 동일한 언어 지시어에 대해 더 높은 행동 다양성을 달성할 수 있는가?
• RQ3 실패 후 의미적 목표 표현이 단일 지시어에서 다수의 유효한 목표 구성(configuration)을 생성함으로써 전략 전환을 지원할 수 있는가?
• RQ4 의미 표현이 연속적 또는 비의미적 중간 표현과 비교해 언어 기반 통합의 효율성과 확장성에 어떤 영향을 미치는가?

주요 결과

• decstr 에이전트는 내재적 동기 부여와 물체 중심의 인덕티브 비이즈를 사용해 조작 환경 내 모든 도달 가능한 의미적 구성(configuration)을 성공적으로 탐색하고 습득했다.
• c-VAE 기반의 목표 생성기에서는 효과적인 언어 기반 통합이 이루어졌으며, 단일 지시어로 다수의 유효한 의미적 목표 구성(configuration)을 생성함으로써 행동 다양성이 가능해졌다.
• 에이전트는 동일한 언어 명령어에 대해 다른 목표 구성(configuration)을 생성함으로써 실패 후 전략 전환을 성공적으로 시연했다.
• 의미 표현은 수동으로 설계된 교육 과정과 복잡한 호기심 메커니즘의 필요성을 줄였으며, 블록 조작 작업에서의 스킬 습득을 단순화시켰다.
• 엔드 투 엔드 LC-RL에 비해 행동 다양성과 내성성에서 더 뛰어난 성능을 보였으며, 지시어당 다수의 유효한 행동을 생성할 수 있었다.
• 술어 기반 의미 표현은 효율적인 언어 기반 통합을 가능하게 하였고, 새로운 문장과 알려지지 않은 초기 구성(configuration)으로의 일반화를 촉진하였다.