[論文レビュー] BabyAI: A Platform to Study the Sample Efficiency of Grounded Language Learning

Maxime Chevalier-Boisvert, Dzmitry Bahdanau+5 more|arXiv (Cornell University)|Oct 18, 2018

Natural Language Processing Techniques被引用数 68

ひとこと要約

BabyAIは、グラウンデッド言語学習のサンプル効率を研究するための19レベルの難易度が増す2Dグリッドワールドプラットフォームと、模擬人間教師を提供します。現在の方法は大量データを必要とし、カリキュラムと対話的な教育が役立つ可能性がある一方、スケーラビリティには依然として課題があります。

ABSTRACT

Allowing humans to interactively train artificial agents to understand language instructions is desirable for both practical and scientific reasons, but given the poor data efficiency of the current learning methods, this goal may require substantial research efforts. Here, we introduce the BabyAI research platform to support investigations towards including humans in the loop for grounded language learning. The BabyAI platform comprises an extensible suite of 19 levels of increasing difficulty. The levels gradually lead the agent towards acquiring a combinatorially rich synthetic language which is a proper subset of English. The platform also provides a heuristic expert agent for the purpose of simulating a human teacher. We report baseline results and estimate the amount of human involvement that would be required to train a neural network-based agent on some of the BabyAI levels. We put forward strong evidence that current deep learning methods are not yet sufficiently sample efficient when it comes to learning a language with compositional properties.

研究の動機と目的

• ヒトをループに入れたグラウンデッド言語学習とサンプル効率の研究動機付け。
• 組み合わせ可能な合成言語と評価スイートを備えた拡張可能なプラットフォームを提供。
• 進行するレベルでの模倣学習と強化学習のベースラインにおけるサンプル効率のベースラインを確立。
• カリキュラム学習と対話的な教育を、データ要求を減らす戦略として調査。

提案手法

• Partial observabilityを備えたMiniGridベースの2Dグリッドワールドと正式なBaby Language（BNF文法）を導入。
• 能力ベースの進行を持つ19レベルを定義し、人間のデモンストレーションを模倣するボットエージェントを使用。
• デモンストレーションを用いた模倣学習（IL）とPPOを用いた強化学習（RL）のベースラインでニューラルモデルを訓練。
• サンプル効率を補間するためにガウス過程モデリングを使用し、k_min（必要最小デモンストレーション/エピソード）に対する99%信用区間を報告。
• データ効率を改善する方法として、カリキュラム事前訓練と対話学習を評価。

実験結果

リサーチクエスチョン

• RQ1 ILとRLの下でBabyAIの組成言語-groundedタスクを学習するために必要なデータ量はどの程度か？
• RQ2 カリキュラム学習と対話的教育はBabyAIのレベル解決におけるデータ要件を有意に削減するか？
• RQ3 BabyAIレベルでの模倣学習と強化学習のサンプル効率を比較すると？
• RQ4 ベースレベルでの事前学習またはRLデモンストレーションを用いるとILのサンプル効率は改善するか？
• RQ5 対話的模倣学習はデモンストレーション必要量を大幅に削減できるか？

主な発見

• 6レベルでの基礎ILは数十万件のデモンストレーションを必要とし、RLは同等の性能に達するにははるかに多くのエピソードを要する。
• サンプル効率のILはボット推定でレベル間でおよそ8.4k〜408kのデモンストレーション、RLは同じレベルで約16k〜1.7Mエピソードを必要とする（値は千単位で表記）。
• RLデモンストレーションは一部のレベルでILの効率を1.5〜2倍改善しうる、特にRLエキスパートと学習者が同じアーキテクチャを共有する場合。
• カリキュラム事前訓練は、GoToLocalなどのいくつかのターゲットレベルで有用だが普遍的ではなく、GoToObjMazeを基盤レベルとすると恩恵が小さいことが多い。
• 対話的ILは、ベースラインILと比較してデモンストレーションを大幅に削減できる（いくつかのレベルで最大約4倍程度）。