[論文レビュー] Disentangling Abstraction from Statistical Pattern Matching in Human and Machine Learning

Sreejan Kumar, Ishita Dasgupta+3 more|arXiv (Cornell University)|Apr 4, 2022

Reinforcement Learning in Robotics被引用数 6

ひとこと要約

本稿は、人間および機械学習における真の抽象化と統計的パターンマッチングを区別するための新規手法を提示する。そのために『タスクメタマー』—統計的に同一だが、背後にあるルールが異なるタスク—を構築する。人間は抽象的タスクにおいて統計的メタマーよりも優れた一般化を示すが、ニューラルネットワークは抽象的タスクではメタマーよりも性能が劣ることが判明し、学習メカニズムに根本的な違いが存在することが示された。

ABSTRACT

The ability to acquire abstract knowledge is a hallmark of human intelligence and is believed by many to be one of the core differences between humans and neural network models. Agents can be endowed with an inductive bias towards abstraction through meta-learning, where they are trained on a distribution of tasks that share some abstract structure that can be learned and applied. However, because neural networks are hard to interpret, it can be difficult to tell whether agents have learned the underlying abstraction, or alternatively statistical patterns that are characteristic of that abstraction. In this work, we compare the performance of humans and agents in a meta-reinforcement learning paradigm in which tasks are generated from abstract rules. We define a novel methodology for building "task metamers" that closely match the statistics of the abstract tasks but use a different underlying generative process, and evaluate performance on both abstract and metamer tasks. We find that humans perform better at abstract tasks than metamer tasks whereas common neural network architectures typically perform worse on the abstract tasks than the matched metamers. This work provides a foundation for characterizing differences between humans and machine learning that can be used in future work towards developing machines with more human-like behavior.

研究の動機と目的

• メタ強化学習におけるニューラルネットワークが抽象的ルールを学習しているのか、単に統計的パターンに依存しているのかを調査すること。
• 統計的性質は保たれるが、背後にある生成ルールが異なるタスクメタマーを生成するための手法を開発すること。
• 抽象的タスクとそれに対応する統計的に一致するメタマーの両方において、人間とニューラルネットワークのパフォーマンスを比較すること。
• 人間の抽象化が、真のルール学習によるものか、統計的相関によるものかを特定すること。
• 機械学習モデルに真の抽象化が存在するかどうかを評価するためのフレームワークを提供すること。

提案手法

• 著者らは、関係的または構成的構造といった抽象的ルールからタスクを生成するメタ強化学習の設定を設計した。
• 彼らは『タスクメタマー』—抽象的タスクと統計的分布が同一だが、非抽象的なプロセスによって生成された合成タスク—を導入した。
• この手法により、元の抽象的タスクとそのメタマーの統計的性質（例えば、行動価値分布、状態遷移など）が区別不能になるように保証された。
• 一般化における抽象化の役割を分離するために、抽象的タスクとそれに対応するメタマーの両方でパフォーマンスを評価した。
• ニューラルネットワークエージェントは、このようなタスクの分布を学習し、抽象的タスクおよびメタマー変種の両方でテストされた。
• 人間の被験者も同じタスクセットでテストされ、種間における一般化行動の比較がなされた。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークエージェントが抽象的タスクに一般化するのは、背後にあるルールを学習したためなのか、統計的規則性のためなのか？
• RQ2 人間は、抽象的タスクとその統計的メタマーを信頼性高く区別できるか？
• RQ3 人間およびニューラルネットワークの両者において、抽象的タスクと統計的に一致するメタマーでのパフォーマンスはどのように比較されるか？
• RQ4 ニューラルネットワークは、ルールベースの抽象化よりも統計的パターンにどれほど依存しているのか？
• RQ5 タスクメタマーは、機械学習モデルにおける抽象化の診断ツールとして機能できるか？

主な発見

• 人間は、統計的メタマーに対して比べて、抽象的タスクで顕著に優れたパフォーマンスを示し、ルールベースの抽象化に依存していることが示唆された。
• ニューラルネットワークエージェントは、対応するメタマーに対して比べて、抽象的タスクではパフォーマンスが劣ることが判明し、統計的パターンを活用している可能性が示された。
• 抽象的タスクとメタマーの間のパフォーマンスギャップは、人間においてニューラルネットワークよりも顕著に大きいことが分かっており、学習メカニズムにおける重要な差異が浮き彫りになった。
• タスクメタマーは、生成構造を変更しながらも統計的性質を正確に保持できており、診断ツールとしての有効性が裏付けられた。
• 現在のディープラーニングモデルは、一般化がうまくいくように見えるものの、真の抽象化に到達していない可能性があると示唆された。
• 統計的パターンマッチングが一般化を模倣する可能性があるという実証的証拠が得られ、AIにおける抽象化の評価に新たな手法の導入が不可欠であることが示された。