[論文レビュー] Learning Inductive Biases with Simple Neural Networks

Reuben Feinman, Brenden M. Lake|arXiv (Cornell University)|Feb 8, 2018

Child and Animal Learning Development参考文献 3被引用数 28

ひとこと要約

この論文は、単純なニューラルネットワーク（順方向型および畳み込み型）が、抽象的または合成的な画像のカテゴリあたりたった3〜6例の学習で、形状バイアスを発現することを示している。この誘導的バイアスの出現は、語彙学習の加速と強く相関しており、子どもたちの発達パターンを模倣しており、ニューラルネットワークが最小限のデータで効率的で人間らしい概念習得を学習できることを示唆している。

ABSTRACT

People use rich prior knowledge about the world in order to efficiently learn new concepts. These priors - also known as "inductive biases" - pertain to the space of internal models considered by a learner, and they help the learner make inferences that go beyond the observed data. A recent study found that deep neural networks optimized for object recognition develop the shape bias (Ritter et al., 2017), an inductive bias possessed by children that plays an important role in early word learning. However, these networks use unrealistically large quantities of training data, and the conditions required for these biases to develop are not well understood. Moreover, it is unclear how the learning dynamics of these networks relate to developmental processes in childhood. We investigate the development and influence of the shape bias in neural networks using controlled datasets of abstract patterns and synthetic images, allowing us to systematically vary the quantity and form of the experience provided to the learning algorithms. We find that simple neural networks develop a shape bias after seeing as few as 3 examples of 4 object categories. The development of these biases predicts the onset of vocabulary acceleration in our networks, consistent with the developmental process in children.

研究の動機と目的

• 単純なニューラルネットワークが、子どもたちに見られる形状バイアスのような誘導的バイアスを発達させられるかどうかを調査すること。
• ニューラルネットワークにおける形状バイアス習得に必要な最小限のデータ要件を特定すること。
• 人工ネットワークにおける形状バイアスの発達と語彙学習の加速との関係を検討すること。
• 初期語彙習得段階における人間の子どもたちで観察される学習ダイナミクスと、ニューラルネットワークの学習ダイナミクスを比較すること。
• 形状バイアスが、大規模な画像認識モデルにおけるデータ効率性を向上させるための事前知識として機能できるかどうかを検討すること。

提案手法

• 抽象的なビットパターンと4〜8個の物体カテゴリを含む高次元の合成画像を用いた制御された合成データセットを作成した。
• 自然な語の頻度分布（60％物体名、20％色、20％質感）を反映するように、クラス重み付きサンプリングを用いた交差エントロピー損失でネットワークを訓練した。
• 形状バイアスは2次一般化テストにより測定され、ネットワークが形状に基づいて新しい例に新しい名前を適用するかを評価した。
• 語彙サイズは、形状カテゴリごとに80％以上の訓練精度に達したものの数として追跡した。
• 10回のセッションにわたる30エポックにわたる学習ダイナミクスを分析し、形状選択と語彙成長の間の相関係数を計算した。
• 異なるランダムシードを用いて20個のネットワークで実験を繰り返し、結果の堅牢性を確認した。

実験結果

リサーチクエスチョン

• RQ1 単純なニューラルネットワークは、カテゴリあたりたった3例の学習で形状バイアスを発達させられるか？
• RQ2 入力刺激の複雑さ（抽象的パターン対合成画像）が、形状バイアスの出現に与える影響は何か？
• RQ3 ニューラルネットワークにおける形状バイアスの発達と語彙学習の加速の間に時間的相関があるか？
• RQ4 ニューラルネットワークの学習ダイナミクスは、初期語彙習得段階における人間の子どもたちのそれとどの程度類似しているか？
• RQ5 大規模モデルを形状バイアスで初期化することで、画像認識におけるデータ効率性が向上するか？

主な発見

• 単純な順方向型ネットワークは、抽象的ビットパターンデータセットの4つの物体カテゴリについて、カテゴリあたりたった3例の学習で形状バイアスを発達させた。
• 畳み込みニューラルネットワークは、高次元の合成画像データセットの8つの物体カテゴリについて、カテゴリあたりたった6例の学習で形状バイアスを発達させた。
• 20個のネットワーク、10回の訓練セッションにわたる累積的な形状選択と語彙成長の間に強い相関（r = 0.76, p < 0.001）が確認された。
• 形状バイアスの発達は、ネットワークにおける語彙加速の発生を予測しており、子どもたちの発達パターンと一貫している。
• ネットワークの学習ダイナミクスは、特に初期語彙習得段階において、人間の子どもたちで観察されるものと類似していた。
• これらの結果は、ニューラルネットワークが最小限の訓練データでも、階層ベイズモデルや人間の子どもたちと同等のデータ効率性を達成できることを示唆している。