[論文レビュー] BabyAI: First Steps Towards Grounded Language Learning With a Human In the Loop.

Maxime Chevalier-Boisvert, Dzmitry Bahdanau+5 more|arXiv (Cornell University)|Oct 18, 2018

Natural Language Processing Techniques被引用数 89

ひとこと要約

BabyAIは、19の段階的に複雑なレベルを備えたスケーラブルでインタラクティブなプラットフォームを提供し、人間による支援を受ける言語理解学習の研究を可能にする。本研究では、現在のディープラーニング手法が、人間による補助でさえも、構成的言語スキルを習得するのに十分なサンプル効率性を欠いていることが示された。

ABSTRACT

Allowing humans to interactively train artificial agents to understand language instructions is desirable for both practical and scientific reasons, but given the poor data efficiency of the current learning methods, this goal may require substantial research efforts. Here, we introduce the BabyAI research platform to support investigations towards including humans in the loop for grounded language learning. The BabyAI platform comprises an extensible suite of 19 levels of increasing difficulty. The levels gradually lead the agent towards acquiring a combinatorially rich synthetic language which is a proper subset of English. The platform also provides a heuristic expert agent for the purpose of simulating a human teacher. We report baseline results and estimate the amount of human involvement that would be required to train a neural network-based agent on some of the BabyAI levels. We put forward strong evidence that current deep learning methods are not yet sufficiently sample efficient when it comes to learning a language with compositional properties.

研究の動機と目的

• 対話的で人間による支援を受ける言語理解学習のための研究プラットフォームの開発を目的とする。
• ニューラルエージェントを人間によるデモと是正によって訓練する際の実現可能性とサンプル効率性を調査することを目的とする。
• ヒューリスティックなエキスパートエージェントを用いて人間の指導行動をモデル化・シミュレートし、スケーラブルな実験を可能とすることを目的とする。
• 段階的に複雑化する言語タスクを訓練するために、エージェントを訓練するにあたり必要な人間の関与度を評価することを目的とする。
• 現在のディープラーニング手法が、対話的学習を通じて構成的言語を習得するにあたり、どのような限界に直面しているかを評価することを目的とする。

提案手法

• プラットフォームは、19の段階的に複雑化するレベルから構成され、各レベルでエージェントがグリッドワールド環境内で自然言語の指示に従う必要がある。
• 各レベルは、構成的言語理解を段階的に構築するため、新しい言語的構成要素と環境のダイナミクスを導入する。
• ヒューリスティックなエキスパートエージェントが、訓練中に最適な行動とフィードバックを提供することで、人間の教師を模倣する。
• ニューラルネットワークベースのエージェントは、人間によるデモを用いた模倣学習と強化学習によって訓練される。
• プラットフォームは、教師あり学習とインタラクティブ学習の両方のパラダイムをサポートしており、サンプル効率性の評価が可能である。
• 言語の指示は合成的であるが、自然言語の構成的性質を反映しており、英語の適切な部分集合を形成する。

実験結果

リサーチクエスチョン

• RQ1 シミュレーテッド環境で段階的に複雑化する言語指示に従うようにニューラルエージェントを訓練するにあたり、どの程度の人間の関与が必要か？
• RQ2 現在のディープラーニングモデルは、人間による支援を受けることで、構成的言語の学習においてどの程度のサンプル効率性を達成できるか？
• RQ3 段階的に複雑化するタスクの複雑さに応じて、人間のデモで訓練されたニューラルエージェントの性能とヒューリスティックなエキスパートエージェントの性能はどのように比較されるか？
• RQ4 このプラットフォームは、対話的学習手法のスケーラブルな評価を可能とする人間の指導行動を効果的にシミュレートできるか？
• RQ5 ディープラーニングを用いて構成的言語を学習する際のサンプル効率性の主なボトル neck は何か？

主な発見

• 現在のディープラーニング手法は、構成的言語を学習するにあたり、信頼性のあるパフォーマンスを達成するための人的支援が著しく多く必要となるため、サンプル効率性が著しく低いことが示された。
• ヒューリスティックなエキスパートエージェントにアクセスできても、高レベルのタスクを訓練するには実世界の展開に現実的ではないほど多くのデモが必要となる。
• プラットフォームは人間の指導行動を効果的にシミュレートできており、対話的学習手法の再現可能でスケーラブルな評価を可能にした。
• ベースラインの結果から、エージェントがトレーニング分布を超えて一般化できていないことが明らかになった。特に、構成的推論を要するタスクでは顕著であった。
• 最も複雑なレベルのエージェントを訓練するにあたり、人間の関与量は実世界の応用に現実的ではないほど多かった。
• 本研究は、サンプル効率性が対話的で人間による支援を受ける言語理解学習の主要な障壁のままであるという、強い実証的証拠を提供した。