[論文レビュー] Controlled-rearing studies of newborn chicks and deep neural networks

Donsuk Lee, Pranav Gujarathi+1 more|arXiv (Cornell University)|Dec 12, 2021

Primate Behavior and EcologyPsychology被引用数 19

ひとこと要約

本研究では、ビデオゲームエンジンを用いて鶏の視覚的視点から生成された同じ視覚環境を用いて、新生児コウノトリと深層畳み込みニューラルネットワーク（CNN）の視覚的学習を並列的な制御された飼育実験で直接比較した。新生児コウノトリが急速に学習を達成するのと同じような限定的データでも、CNNは視覚的不変な物体認識を達成できることを示し、CNNが本質的に「データを必要とする」という考えに疑問を呈した。

ABSTRACT

Convolutional neural networks (CNNs) can now achieve human-level performance on challenging object recognition tasks. CNNs are also the leading quantitative models in terms of predicting neural and behavioral responses in visual recognition tasks. However, there is a widely accepted critique of CNN models: unlike newborn animals, which learn rapidly and efficiently, CNNs are thought to be "data hungry," requiring massive amounts of training data to develop accurate models for object recognition. This critique challenges the promise of using CNNs as models of visual development. Here, we directly examined whether CNNs are more data hungry than newborn animals by performing parallel controlled-rearing experiments on newborn chicks and CNNs. We raised newborn chicks in strictly controlled visual environments, then simulated the training data available in that environment by constructing a virtual animal chamber in a video game engine. We recorded the visual images acquired by an agent moving through the virtual chamber and used those images to train CNNs. When CNNs received similar visual training data as chicks, the CNNs successfully solved the same challenging view-invariant object recognition tasks as the chicks. Thus, the CNNs were not more data hungry than animals: both CNNs and chicks successfully developed robust object models from training data of a single object.

研究の動機と目的

• 新生児動物、特に視覚的不変な物体認識において、深層畳み込みニューラルネットワーク（CNN）が本当に『データを必要とする』かどうかを検証すること。
• 同じ制限された視覚入力で学習した場合に、CNNが新生児コウノトリと同等の学習効率を達成できるかどうかを調査すること。
• ビデオゲームエンジンを用いてコウノトリの視覚的経験の計算モデルを構築し、CNNのための現実世界に似た訓練データをシミュレートすること。
• 訓練データとテストプロトコルを一致させることで、生物学的および人工的視覚システムの間で直接的かつ公平な比較を可能にすること。
• CNNが、動物の初期視覚発達の神経的メカニズムを解明するための画像計算可能なモデルとして機能できるかどうかを評価すること。

提案手法

• 新生児コウノトリを1つの物体を有する仮想環境で制御飼育し、視覚的不変な物体認識タスクにおける成績を測定した。
• ビデオゲームエンジンを用いてコウノトリの視覚環境をシミュレートした仮想動物用部屋を構築し、移動するエージェントの第一人称視点の視覚的軌跡を記録した。
• エージェントが仮想部屋を移動する際の生の視覚画像を収集・処理し、CNNの訓練データセットを作成した。
• データ拡張を用いて有効なサンプル数を増加させることで、教師ありおよび教師なしのCNNを訓練した。
• 特徴表現の可視化と表現類似性の評価のため、線形判別分析（LDA）を用いた。
• コウノトリとCNNの両方を同じ物体認識タスクでテストし、学習成績および一般化能力の直接的比較を可能にした。

実験結果

リサーチクエスチョン

• RQ1 新生児コウノトリが急速に学習を達成するのと同じような限定的視覚データで訓練された深層畳み込みニューラルネットワーク（CNN）は、視覚的不変な物体認識を達成できるか？
• RQ2 単一の物体を有する環境からの視覚的訓練データの量と質は、新生児コウノトリとCNNの両者において、学習効率の観点でどのように比較できるか？
• RQ3 CNNは、初期視覚発達段階における新生児コウノトリが示す表現的および行動的成果をどの程度再現できるか？
• RQ4 データ拡張および能動的探索が、生物学的および人工的視覚システムの両者におけるデータ要件の低減に果たす役割は何か？
• RQ5 実世界に似た感覚入力で訓練された場合、CNNは動物の初期視覚発達の有効な神経的メカニズム的モデルとして機能できるか？

主な発見

• 新生児コウノトリと同一の制御飼育環境を仮想エージェントが移動する際の視覚データを収集して訓練したCNNは、同じ視覚的不変な物体認識タスクを正常に解決した。
• コウノトリとCNNの両方が、1つの物体にさらされた後、強固な視覚的不変な物体表現を発達させたことから、同等の学習効率が得られたことが示された。
• データ拡張により、CNNの有効な訓練画像数が顕著に増加し、新生児コウノトリが24時間で約864,000件の訓練サンプルを獲得するのと同等のデータ負荷となった。
• 表現相違行列（RDM）の結果、CNNが生物学的システムで観察されたものと類似した構造の特徴表現を発達させたことが示された。
• 本研究は、CNNが本質的に「データを必要とする」と広く信じられている考えに疑問を呈し、訓練データを一致させた場合、新生児動物と同等に効率的に機能することを示した。
• 結果は、CNNが画像計算可能で神経的メカニズム的モデルとして初期視覚発達を模倣するのに適しており、発達理論の検証および反証のためのフレームワークを提供することを支持する。