[論文レビュー] Meta-Learning of Compositional Task Distributions in Humans and Machines.

Sreejan Kumar, Ishita Dasgupta+3 more|arXiv (Cornell University)|Oct 5, 2020

Domain Adaptation and Few-Shot Learning参考文献 27被引用数 2

ひとこと要約

本論文は、人間と機械学習を対比するため、メタ強化学習における構成的タスク配布を導入する。人間は構造的で生成的なモデルを用いて構成的タスクでより良い一般化を示す一方で、統計的に同等の非構成的ノイズタスクでは標準的なメタラーナーが人間を上回ることを示し、現在のメタラーニングアプローチにおける重要なギャップを明らかにする。

ABSTRACT

Modern machine learning systems struggle with sample efficiency and are usually trained with enormous amounts of data for each task. This is in sharp contrast with humans, who often learn with very little data. In recent years, meta-learning, in which one trains on a family of tasks (i.e. a task distribution), has emerged as an approach to improving the sample complexity of machine learning systems and to closing the gap between human and machine learning. However, in this paper, we argue that current meta-learning approaches still differ significantly from human learning. We argue that humans learn over tasks by constructing compositional generative models and using these to generalize, whereas current meta-learning methods are biased toward the use of simpler statistical patterns. To highlight this difference, we construct a new meta-reinforcement learning task with a compositional task distribution. We also introduce a novel approach to constructing a task with the same statistical complexity as the compositional distribution but without explicit compositionality. We train a standard meta-learning agent, a recurrent network trained with model-free reinforcement learning, and compare it with human performance across the two task distributions. We find that humans do better in the compositional task distribution whereas the agent does better in the non-compositional null task distribution -- despite comparable statistical complexity. This work highlights a particular difference between human learning and current meta-learning models, introduces a task that displays this difference, and paves the way for future work on human-like meta-learning.

研究の動機と目的

• 人間と現在のメタラーニングエージェントが同じ統計的タスク複雑性を持つにもかかわらず、なぜ人間がより効果的に一般化できるかを調査すること。
• 人間は構成的生成モデルを用いるのに対し、メタラーナーは単純な統計的パターンに依存するという、学習メカニズムにおける根本的な違いを特定すること。
• この違いを分離するために、明示的な構成的構造を持つ新しいメタ強化学習タスクを設計すること。
• 同一の統計的複雑性を持つが構成的でない制御用タスクを設計し、比較を制御可能にする。
• 両方のタスク配布において人間とエージェントのパフォーマンスを評価・比較し、学習戦略の乖離を露呈すること。

提案手法

• 構造的で階層的なタスクコンポーネントに基づいた、構成的タスク配布を持つ新しいメタ強化学習環境を設計する。
• 同じ統計的特性（例：同じ報酬分布、状態・行動空間）を持つが明示的な構成的構造を持たない、対応するノイズタスク配布を作成する。
• 再帰的ネットワークアーキテクチャを用いて、モデルフリー強化学習による標準的なメタラーナーを訓練し、タスク配布から学習させる。
• 制御された実験条件下で、人間の両方のタスク配布におけるパフォーマンスデータを収集する。
• 両方のタスクタイプにおいて、人間とメタラーナーの一般化性能とサンプル効率を比較する。
• 統計的同等性の検証を実施し、ノイズタスクがタスク複雑性において構成的タスクと同一であることを確認し、構成的でない要因を唯一の変数として分離する。

実験結果

リサーチクエスチョン

• RQ1 構成的構造を明示的に持つタスクでは、人間が標準的なメタラーナーを上回るのか？
• RQ2 統計的複雑性が同等であるにもかかわらず構成的でないタスクでは、メタラーナーが人間を上回るのか？
• RQ3 人間とメタラーナーのパフォーマンスギャップは、タスク設計における明示的な構成的構造の有無に起因するのか？
• RQ4 同一の統計的複雑性を持つ非構成的タスクは、構成的要因の影響を分離するための有効な制御として機能するのか？
• RQ5 現在のメタラーニングモデルは、人間の学習様式を模倣するように構成的構造を効果的に活用していないのか？

主な発見

• 人間は構成的タスク配布において、メタラーナーを著しく上回り、構造的で階層的なタスクでの優れた一般化能力を示している。
• ノイズタスク配布においても統計的複雑性が同一であるにもかかわらず、メタラーナーは人間を上回っている。これは、統計的パターンへのバイアスがあることを示唆している。
• パフォーマンスの違いはタスク複雑性に起因するのではなく、タスク設計における明示的な構成的構造の有無に起因する。
• 人間は構成的生成モデルを用いて一般化しているのに対し、メタラーナーは単純な非構成的統計的パターンに依存している。
• 結果は、人間は構造を活用するのに対し、現在のメタラーナーは構成的タスク構造を効果的に活用しないという、学習メカニズムにおける根本的な乖離を明らかにしている。
• 本研究は、統計的複雑性が一致する状況においても、人間のような構成的一般化を模倣できないという、現在のメタラーニングの重要な限界を特定している。