[論文レビュー] Meta-Learning of Structured Task Distributions in Humans and Machines

Sreejan Kumar, Ishita Dasgupta+3 more|arXiv (Cornell University)|Oct 5, 2020

Topic Modeling参考文献 27被引用数 5

ひとこと要約

本論文は、メタ強化学習のための構造的タスク分布を生成するための組立的文法を導入し、それを統計的に同等だが非組立的（'ノイズ'と呼ぶ）な分布と対比する。人間は構造的タスクでエージェントを上回り、逆にノイズタスクではエージェントが人間を上回ることを示し、標準的なメタ・ラーナーが構造的規則ではなく統計的パターンに依存していることを明らかにする。これは、人間と人工学習の間におけるインダクティブバイアスの顕著なギャップを示している。

ABSTRACT

In recent years, meta-learning, in which a model is trained on a family of tasks (i.e. a task distribution), has emerged as an approach to training neural networks to perform tasks that were previously assumed to require structured representations, making strides toward closing the gap between humans and machines. However, we argue that evaluating meta-learning remains a challenge, and can miss whether meta-learning actually uses the structure embedded within the tasks. These meta-learners might therefore still be significantly different from humans learners. To demonstrate this difference, we first define a new meta-reinforcement learning task in which a structured task distribution is generated using a compositional grammar. We then introduce a novel approach to constructing a "null task distribution" with the same statistical complexity as this structured task distribution but without the explicit rule-based structure used to generate the structured task. We train a standard meta-learning agent, a recurrent network trained with model-free reinforcement learning, and compare it with human performance across the two task distributions. We find a double dissociation in which humans do better in the structured task distribution whereas agents do better in the null task distribution -- despite comparable statistical complexity. This work highlights that multiple strategies can achieve reasonable meta-test performance, and that careful construction of control task distributions is a valuable way to understand which strategies meta-learners acquire, and how they might differ from humans.

研究の動機と目的

• ニューラルネットワークにおけるメタ・ラーナーが、人間が行うように構造的・組立的表現を真に学習しているかどうかを調査すること。
• メタ学習の評価の課題に対処するため、同一の統計的複雑性を持つが明示的な組立的構造を含まない制御タスク分布を構築すること。
• 構造的およびノイズタスク分布において人間とエージェントのパフォーマンスを比較し、学習戦略の違いを特定すること。
• メタ・ラーナーが構造的タスクでパフォーマンスを向上させる理由が、真の構造的抽象化ではなく、統計的規則性へのメタインダクティブバイアスに起因する可能性を示すこと。
• アーキテクチャに内在するインダクティブバイアスが、メタ・ラーナーが学習する内容を著しく規定しており、タスク分布の設計だけでは構造的推論の習得を保証できないと主張すること。

提案手法

• 単純なルールから再帰的に複雑な環境を構築できる組立的文法を用いて、メタ強化学習環境を設計し、タスクを生成する。
• 同じ統計的複雑性を持つが、いかなるルールに基づく組立的構造も持たない「ノイズタスク分布」を、同等の統計的特徴をランダムにサンプリングすることで作成する。
• 両方の分布で、モデルフリー強化学習を用いて標準的な再帰的ネットワークを訓練し、メタテストパフォーマンスを評価する。
• 両方のタスク分布に対して人間の行動実験を実施し、学習戦略とパフォーマンスを評価する。
• 人間とエージェントの両者のパフォーマンスを二重の分離（ダブルディスソシエーション）分析により比較し、背後にある学習戦略の違いを特定する。
• 後続の実験として畳み込みエージェントを用い、統計的学習と組立的規則学習をさらに分離し、エージェントが統計的パターンに依存していることを確認する。

実験結果

リサーチクエスチョン

• RQ1 構造的タスク分布で訓練されたメタ・ラーナーは、実際にその背後にある組立的規則を学習しているのか、それとも統計的規則性を活用しているのか？
• RQ2 人間学習者と人工メタ・ラーナーは、構造的タスクと、それと統計的に類似したが非組立的タスクの両方において、どのように一般化能力を発揮するか？
• RQ3 ニューラルネットワークアーキテクチャのメタインダクティブバイアスが、メタ学習タスクにおいて構造的構造を学ぶか、統計的相関を学ぶかをどの程度決定づけるのか？
• RQ4 統計的複雑性は同等だが組立的構造を含まない制御タスク分布は、メタ・ラーナーによる構造的推論の習得を評価する有効なベンチマークとして成立するか？
• RQ5 どのようなアーキテクチャ的または訓練の修正が、メタ・ラーナーが統計的パターンマッチングではなく組立的規則学習を好むようにできるか？

主な発見

• 人間は構造的タスク分布で一貫してエージェントを上回り、これは背後にある組立的規則を学習・使用する強いバイアスを示している。
• エージェントは、統計的複雑性が同一であるにもかかわらずノイズタスク分布で人間を上回る。これは、エージェントが組立的構造ではなく統計的パターンを好むことを示している。
• 二重の分離が観察された：人間は構造の恩恵を受けるが、エージェントは統計的規則性の恩恵を受ける。これは直交する学習戦略を示している。
• 再帰的メタ・ラーナーの構造的分布におけるパフォーマンスは、規則学習によるものではなく、後続の統計的特徴によるものであり、統計的パターンへのメタインダクティブバイアスが裏付けられている。
• 畳み込みエージェントを用いた後続実験により、統計的学習だけでも高いパフォーマンスが達成可能であることが確認され、統計的学習と組立的規則使用をさらに分離した。
• 結果として、標準的なメタ・ラーナーは、構造的タスク分布で訓練されたとしても、人間と同様のインダクティブバイアスを獲得しないことが示された。これは、アーキテクチャに起因するメタインダクティブバイアスが、統計的ではなく構造的一般化を優先する傾向にあるためである。