[논문 리뷰] BabyAI: A Platform to Study the Sample Efficiency of Grounded Language Learning

Maxime Chevalier-Boisvert, Dzmitry Bahdanau외 5명|arXiv (Cornell University)|2018. 10. 18.

Natural Language Processing Techniques인용 수 68

한 줄 요약

BabyAI는 점점 더 어려워지는 19개의 레벨과 샘플 효율성을 연구하기 위한 시뮬레이션된 인간 교사를 갖춘 2D 그리드 월드 플랫폼을 제공하며, 현재 방법은大量 데이터가 필요하며 커리큘럼과 인터랙티브한 교육이 도움이 될 수 있지만 확장성은 여전히 도전 과제임을 보인다.

ABSTRACT

Allowing humans to interactively train artificial agents to understand language instructions is desirable for both practical and scientific reasons, but given the poor data efficiency of the current learning methods, this goal may require substantial research efforts. Here, we introduce the BabyAI research platform to support investigations towards including humans in the loop for grounded language learning. The BabyAI platform comprises an extensible suite of 19 levels of increasing difficulty. The levels gradually lead the agent towards acquiring a combinatorially rich synthetic language which is a proper subset of English. The platform also provides a heuristic expert agent for the purpose of simulating a human teacher. We report baseline results and estimate the amount of human involvement that would be required to train a neural network-based agent on some of the BabyAI levels. We put forward strong evidence that current deep learning methods are not yet sufficiently sample efficient when it comes to learning a language with compositional properties.

연구 동기 및 목표

• 사람이 루프에 참여하는 근거 기반 언어 학습 및 샘플 효율성에 대한 연구 의욕 고취.
• 구성 가능한 합성 언어와 평가 도구를 갖춘 확장 가능한 플랫폼 제공.
• 진전 수준에서의 모방 학습 및 강화 학습에 대한 베이스라인 샘플 효율성 벤치마크 수립.
• 데이터 요구량을 줄이기 위한 커리큘럼 학습 및 인터랙티브한 교육의 전략 탐구.

제안 방법

• 부분 관찰 가능성을 갖는 MiniGrid 기반의 2D 그리드 월드를 도입하고 형식적 Baby Language(BNF 문법)를 정의합니다.
• 능력 기반 진전으로 19개 레벨과 인간 Demonstrations를 시뮬레이션하는 봇 에이전트를 정의합니다.
• 시연을 이용한 모방 학습(IL) 및 PPO를 이용한 강화 학습(RL) 베이스라인으로 신경 모델을 학습합니다.
• 샘플 효율성을 보간하기 위해 Gaussian Process 모델링을 사용하고 k_min(필요한 최소 시연/에피소드)에 대한 99% 신뢰 구간을 보고합니다.
• 데이터 효율성을 개선하기 위한 커리큘럼 사전 학습 및 인터랙티브 학습을 방법으로 평가합니다.

실험 결과

연구 질문

• RQ1 IL 및 RL 하에서 BabyAI의 구성 요소를 학습하기 위해 신경 에이전트에 필요한 데이터 양은 어느 정도인가?
• RQ2 커리큘럼 학습 및 인터랙티브한 교육이 BabyAI 레벨 해결에 필요한 데이터 요구량을 의미 있게 줄이는가?
• RQ3 모방 학습과 강화 학습 간의 샘플 효율성은 BabyAI 레벨에서 어떻게 비교되는가?
• RQ4 베이스 레벨에서의 사전 학습이나 RL 시연이 IL 샘플 효율성을 개선하는가?
• RQ5 인터랙티브 모방 학습이 성공에 필요한 시연 수를 크게 줄일 수 있는가?

주요 결과

• 베이스라인 IL은 6개의 레벨에서 수십만 건의 시연이 필요하며; RL은 동일한 성능 수준에 도달하기까지 훨씬 더 많은 에피소드가 요구된다.
• 샘플 효율성 IL은 봇 시연 추정치가 레벨 전체에 걸쳐 대략 8.4k에서 408k 시연 사이인 반면, 같은 레벨에서 RL은 대략 16k에서 1.7M 에피소드가 필요하다(값은 천 단위).
• RL 시연은 일부 레벨에서 IL 효율성을 1.5–2배 향상시킬 수 있으며, 특히 RL 전문가가 학습자와 동일한 아키텍처를 공유할 때 그렇다.
• 커리큘럼 사전 학습은 목표 레벨 중 여러 레벨에서 이점을 제공하지만(예: GoToLocal 및 관련 짝들), 보편적으로 이득을 주지는 않으며, 기본 레벨로서의 GoToObjMaze는 종종 이점을 주지 않는다.
• 인터랙티브 IL은 일부 레벨에서 vanilla IL 대비 필요한 시연 수를 크게 줄일 수 있다(최대 약 4배까지).