[논문 리뷰] BabyAI: First Steps Towards Grounded Language Learning With a Human In the Loop.

Maxime Chevalier-Boisvert, Dzmitry Bahdanau외 5명|arXiv (Cornell University)|2018. 10. 18.

Natural Language Processing Techniques인용 수 89

한 줄 요약

BabyAI는 인간의 참여를 수반하는 지각된 언어 학습을 연구하기 위해 19개의 점차 복잡도가 증가하는 수준을 갖춘 확장 가능한 상호작용 플랫폼을 제공한다. 이 플랫폼은 현재의 딥 러닝 방법론이 조합적 언어 스킬을 습득하는 데 충분한 샘플 효율성을 갖추지 못하고 있음을 입증한다. 즉, 인간의 지도가 제공된다고 해도 여전히 효율성이 떨어진다.

ABSTRACT

Allowing humans to interactively train artificial agents to understand language instructions is desirable for both practical and scientific reasons, but given the poor data efficiency of the current learning methods, this goal may require substantial research efforts. Here, we introduce the BabyAI research platform to support investigations towards including humans in the loop for grounded language learning. The BabyAI platform comprises an extensible suite of 19 levels of increasing difficulty. The levels gradually lead the agent towards acquiring a combinatorially rich synthetic language which is a proper subset of English. The platform also provides a heuristic expert agent for the purpose of simulating a human teacher. We report baseline results and estimate the amount of human involvement that would be required to train a neural network-based agent on some of the BabyAI levels. We put forward strong evidence that current deep learning methods are not yet sufficiently sample efficient when it comes to learning a language with compositional properties.

연구 동기 및 목표

• 지각된 언어 이해에서 인간이 개입하는 상호작용형 학습을 지원하는 연구 플랫폼을 개발하는 것.
• 인간이 제공하는 시연 및 수정을 통해 신경망 에이전트를 훈련시키는 데 있어 실현 가능성과 샘플 효율성을 조사하는 것.
• 유지보수 가능한 실험을 위해 히우리스틱 전문가 에이전트를 활용해 인간의 지도 행동을 모델링하고 시뮬레이션하는 것.
• 점차 복잡도가 증가하는 언어 작업을 훈련시키기 위해 에이전트를 학습시키는 데 필요한 인간의 참여 정도를 평가하는 것.
• 상호작용 학습을 통해 조합적 언어를 습득하는 데 있어 현재의 딥 러닝 방법론의 한계를 평가하는 것.

제안 방법

• 플랫폼은 복잡도가 점차 증가하는 19개의 수준으로 구성되어 있으며, 각 수준은 격자 기반 환경에서 자연어 지시에 따라 행동해야 하는 에이전트를 요구한다.
• 각 수준은 새로운 언어 구성요소와 환경 역학을 도입하여 점차적으로 조합적 언어 이해 능력을 키운다.
• 히우리스틱 전문가 에이전트는 훈련 중 최적의 동작과 피드백을 제공함으로써 인간 교사의 역할을 시뮬레이션한다.
• 신경망 기반 에이전트는 인간이 제공한 시연를 활용한 이mitation learning과 강화학습을 통해 훈련된다.
• 플랫폼은 감독 학습과 상호작용 학습 파라다임을 모두 지원하여 샘플 효율성 평가가 가능하다.
• 언어 지시문은 자연어의 조합적 특성을 반영하도록 구조화된 합성 문장이며, 영어의 진정한 부분집합을 이룬다.

실험 결과

연구 질문

• RQ1 인간의 상호작용이 얼마나 필요할 것인가? — 시뮬레이션 환경에서 점차 복잡도가 증가하는 언어 지시를 따르는 데에 신경망 에이전트를 훈련시키기 위해.
• RQ2 현재의 딥 러닝 모델이 인간-중심 지도 하에 조합적 언어 습득을 샘플 효율적으로 달성할 수 있는 정도는 어느 정도인가?
• RQ3 점차 증가하는 작업 복잡도에 따라 인간 시연를 통해 훈련된 신경망 에이전트의 성능은 히우리스틱 전문가 에이전트와 비교해 어떻게 되는가?
• RQ4 이 플랫폼은 인간의 지도 행동을 효과적으로 시뮬레이션하여 상호작용 학습 방법의 확장 가능한 평가를 가능하게 하는가?
• RQ5 딥 러닝을 활용해 조합적 언어를 학습할 때 샘플 효율성의 주요 장애 요인는 무엇인가?

주요 결과

• 현재의 딥 러닝 방법론은 조합적 언어를 학습할 때 매우 열악한 샘플 효율성을 보이며, 신뢰할 수 있는 성능에 도달하기 위해 상당한 수준의 인간 상호작용이 필요하다.
• 히우리스틱 전문가 에이전트에 접근할 수 있음에도 불구하고, 고수준 작업을 훈련시키는 데에는 실질적으로 실생활 구현에 부적합할 정도로 훨씬 더 많은 시연가 필요하다.
• 플랫폼은 인간의 지도 행동을 성공적으로 시뮬레이션하여 상호작용 학습 방법의 재현 가능하고 확장 가능한 평가를 가능하게 하였다.
• 기본 성능 결과는 에이전트가 훈련 분포를 초월해 일반화하는 데 어려움을 겪고 있으며, 특히 조합적 추론이 필요한 작업에서는 더욱 심각한 문제가 있음을 보여준다.
• 가장 복잡한 수준의 에이전트를 훈련시키기 위해 필요한 인간의 참여 수준은 실생활 응용에 비해 실현 가능성이 떨어진다.
• 본 연구는 샘플 효율성이 상호작용 기반 인간-중심 지각된 언어 학습의 핵심 장벽으로 남아 있음을 강력한 경험적 증거로 제시한다.