[論文レビュー] A neural network walks into a lab: towards using deep nets as models for human behavior

Wei Ji, Benjamin Peters|arXiv (Cornell University)|May 2, 2020

Neural dynamics and brain function参考文献 82被引用数 46

ひとこと要約

本論文は、認知科学における人間行動のモデルとして deep neural networks (DNNs) を用いることを提案し、それらを訓練・評価する方法を概説し、伝統的な認知モデルとの評価と統合について論じている。

ABSTRACT

What might sound like the beginning of a joke has become an attractive prospect for many cognitive scientists: the use of deep neural network models (DNNs) as models of human behavior in perceptual and cognitive tasks. Although DNNs have taken over machine learning, attempts to use them as models of human behavior are still in the early stages. Can they become a versatile model class in the cognitive scientist's toolbox? We first argue why DNNs have the potential to be interesting models of human behavior. We then discuss how that potential can be more fully realized. On the one hand, we argue that the cycle of training, testing, and revising DNNs needs to be revisited through the lens of the cognitive scientist's goals. Specifically, we argue that methods for assessing the goodness of fit between DNN models and human behavior have to date been impoverished. On the other hand, cognitive science might have to start using more complex tasks (including richer stimulus spaces), but doing so might be beneficial for DNN-independent reasons as well. Finally, we highlight avenues where traditional cognitive process models and DNNs may show productive synergy.

研究の動機と目的

• DNNs を、伝統的な認知過程モデルと並ぶ人間行動の有望な候補モデルとして支持する。
• DNNs が生態学的事前学習、診断タスク訓練、そして人間行動へのデータ駆動的適合を限定的に行う実験室風パイプラインを提案する。
• DNNs における人間に近い先験偏好と行動をより良く捉えるため、より豊かな課題設計と刺激空間を求める。
• 正確さを超えた豊かな行動指標とモデルと人間の比較を用いた評価手法を強調する。）
• method":["生態学的事前学習に続く診断的ラボ課題での訓練という二段階学習パラダイムを主張し、行動データへの限定的な適合があり得る。","生物学的妥当性を目指したアーキテクチャ的方向性（循環、フィードバック、注意機構、スパイキング変種など）を検討し、人間に近い表現を得る。","生態学的に妥当で多様な訓練データセットの作成を強調し、データ拡張や動画のようなばらつきを含めて人間の経験を模倣する。","多タスク訓練とカリキュラム学習を推奨し、人間の認知に似たモジュール性と一般化を育む。","複数のネットワークインスタンスと訓練体系を探索して人間の個人差を捉えることで、個体間変異性を提唱する。）

実験結果

リサーチクエスチョン

• RQ1 DNNs は、認知課題の範囲全体で多用途で人間のようなモデルとして機能し得るか。
• RQ2 診断タスクにおいて、DNNの挙動を人間の挙動と最もよく一致させる訓練・評価パイプラインはどれか。
• RQ3 単純な正確さを超えて、DNNと人間の適合度をどのように評価すべきか。
• RQ4 生態学的に妥当な事前学習、課題の豊かさ、多タスク訓練が、人間らしい DNN の挙動の達成においてどのような役割を果たすか。
• RQ5 認知過程モデルと DNN を統合して、双方の長所を生かすにはどうすればよいか。

主な発見

• DNNs は、予測ツールとしてだけでなく、行動の候補モデルとして真剣に受け止めるべきである。
• 尊厳あるモデリングパイプラインには、生態学的前訓練、診断タスク訓練、そして場合によっては人間データへの限定的適合が含まれる。
• 適合度は、正確さを超える豊かな多次元の行動特性評価を必要とし、反応分布やタイミングを含む。
• 課題設計と訓練データの豊富さは重要であり、生態学的に妥当で多様な課題は DNN の先験を人間の認知と整列させるのに役立つ。
• 認知過程モデルと DNN を組み合わせたハイブリッド手法は、認知の理解を深める有望な道を提供する。