[論文レビュー] If deep learning is the answer, then what is the question?

Andrew Saxe, Stephanie Nelli+1 more|arXiv (Cornell University)|Apr 16, 2020

Domain Adaptation and Few-Shot Learning参考文献 133被引用数 8

ひとこと要約

この論文は、深層学習の時代におけるシステム神経科学のためのロードマップを提唱し、深層ニューラルネットワークが生物学的脳の計算の検証可能なモデルとして機能しうると主張している。人工的および生物学的システムを行動、学習ダイナミクス、神経表現の観点から比較することで、著者たちは深層学習をブラックボックスとしてではなく、知覚、認知、神経コードの生物学的脳における仮説の生成と検証のフレームワークとして活用すべきだと提唱する。

ABSTRACT

Neuroscience research is undergoing a minor revolution. Recent advances in machine learning and artificial intelligence (AI) research have opened up new ways of thinking about neural computation. Many researchers are excited by the possibility that deep neural networks may offer theories of perception, cognition and action for biological brains. This perspective has the potential to radically reshape our approach to understanding neural systems, because the computations performed by deep networks are learned from experience, not endowed by the researcher. If so, how can neuroscientists use deep networks to model and understand biological brains? What is the outlook for neuroscientists who seek to characterise computations or neural codes, or who wish to understand perception, attention, memory, and executive functions? In this Perspective, our goal is to offer a roadmap for systems neuroscience research in the age of deep learning. We discuss the conceptual and methodological challenges of comparing behaviour, learning dynamics, and neural representation in artificial and biological systems. We highlight new research questions that have emerged for neuroscience as a direct consequence of recent advances in machine learning.

研究の動機と目的

• 深層学習モデルを活用して生物学的脳の計算を理解するための、システム神経科学研究者を支援すること。
• 人工ニューラルネットワークと生物学的ニューラルシステムを比較する際の概念的および方法論的課題に対処すること。
• 深層学習を神経科学に統合することで生じる新しい研究課題を特定すること。
• 深層ネットワークを知覚、注意、記憶、実行機能の説明的モデルとして使用するためのフレームワークを提供すること。
• 単なる類似性にとどまらず、洗練された仮説駆動型の深層学習の神経科学への応用を促進すること。

提案手法

• 経験に基づいて訓練されるが、手動でルールが設定されていないため、深層ニューラルネットワークを神経計算の生物学的に妥当なモデルとして提案する。
• 行動的パフォーマンス、学習ダイナミクス、神経表現パターンの3分野における比較的分析を強調する。
• 深層ネットワークのアーキテクチャおよび学習ダイナミクスを用いて、生物学的神経系に関する検証可能な予測を生成する。
• 神経コードおよび機能的計算の観点から、ネットワーク表現の解釈の重要性を強調する。
• ネットワーク設計を既知の神経解剖学および神経生理学に合わせることで、生物学的妥当性を高めることを奨奨する。
• 深層学習を脳機能に関する仮説の生成ツールとして位置づけるが、単に行動を模倣するためのものではない。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、生物学的脳における知覚、認知、行動のモデルとしてどのように機能するか？
• RQ2 人工ニューラルネットワークと生物学的ニューラルシステムを比較する際の方法論的課題は何か？
• RQ3 深層ネットワーク内の学習ダイナミクスは、生物学的学習および可塑性の理解をどのように深めるか？
• RQ4 深層ネットワーク内の神経表現は、生物学的脳のそれらとどのように類似または相違するか？
• RQ5 深層学習がシステム神経科学に統合された際に生じる新しい研究課題は何か？

主な発見

• 感覚タスクに訓練された深層ニューラルネットワークは、生物学的行動の重要な側面を再現でき、知覚をモデル化するための新たな視点を提供する。
• 深層ネットワーク内の学習ダイナミクス—たとえば段階的な特徴階層の発展—は、生物学的システムで観察される発達的経路と類似している。
• ネットワークの深さが増すにつれて、深層ネットワーク内の神経表現は、高次脳領域のそれらに近づく傾向を示す。
• 本論文は、ネットワーク表現と脳の表現を直接比較するには、入力刺激およびタスク構造の適切な一致が必要であると指摘している。
• 事前学習済みネットワークの無批判的使用を警告し、科学的妥当性を保つためにタスク固有の訓練を推奨している。
• 著者たちは、洗練された方法で適用される限り、深層学習がシステム神経科学における強力な仮説生成フレームワークを提供すると結論づけている。