[論文レビュー] Testing the Tools of Systems Neuroscience on Artificial Neural Networks

Grace W. Lindsay|arXiv (Cornell University)|Feb 14, 2022

Neural Networks and Applications被引用数 4

ひとこと要約

本論文は、システム神経科学のツールが神経計算に関する意味のあるインサイトをどのように明らかにするかを評価するため、人工ニューラルネットワーク（ANNs）を制御されたテストベッドとして使用することを提案する。既知のアーキテクチャと行動を有するANNに、一般的な分析手法（例：デミックスドPCA）を適用することで、研究者はこれらのツールが実際に実験的に確認可能なインサイトをもたらすかどうかを体系的にテストできる。これにより、神経科学の手法の信頼性と有用性が向上する。

ABSTRACT

Neuroscientists apply a range of common analysis tools to recorded neural activity in order to glean insights into how neural circuits implement computations. Despite the fact that these tools shape the progress of the field as a whole, we have little empirical evidence that they are effective at quickly identifying the phenomena of interest. Here I argue that these tools should be explicitly tested and that artificial neural networks (ANNs) are an appropriate testing grounds for them. The recent resurgence of the use of ANNs as models of everything from perception to memory to motor control stems from a rough similarity between artificial and biological neural networks and the ability to train these networks to perform complex high-dimensional tasks. These properties, combined with the ability to perfectly observe and manipulate these systems, makes them well-suited for vetting the tools of systems and cognitive neuroscience. I provide here both a roadmap for performing this testing and a list of tools that are suitable to be tested on ANNs. Using ANNs to reflect on the extent to which these tools provide a productive understanding of neural systems -- and on exactly what understanding should mean here -- has the potential to expedite progress in the study of the brain.

研究の動機と目的

• システム神経科学で広く使われているが、実際に神経機構を解明する上でどの程度有用であるかを検証する実証的根拠が不足している現状に対処すること。
• 人工ニューラルネットワーク（ANNs）が生物学的妥当性があり、複雑なタスクの学習が可能で、完全に観測可能かつ制御可能であるため、理想的なテストベッドであると主張すること。
• 成功例と失敗例を含む、透明性があり事前に登録されたフレームワークを確立し、出版バイアスを回避すること。
• 分析ツールの成功度を、null/解釈不能な結果から実験的に確認可能な実行可能なインサイトまで段階的に測定するスケールを開発すること。
• ANN上で体系的なテストにより、現在の手法におけるギャップを特定し、より良いツールの開発を促進すること。

提案手法

• 生物学的に関連するタスク（例：ノイズを含む画像分類）を学習させたANNを、内部ダイナミクスが既知の神経回路の制御モデルとして用いる。
• これらのネットワークの隠れユニットの活動に対して、標準的なシステム神経科学のツール（例：デミックスドPCA（dPCA）、次元削減、集団ベクトル解析）を適用する。
• 四段階の成功指標を用いてツールのパフォーマンスを評価する：null/解釈不能な結果、解釈可能だが実行不能なインサイト、新たな実験を誘導する実行可能なインサイト、実験的摂動によって確認されたインサイト。
• 分析結果に基づいた摂動実験（例：ノイズに関連する成分を除いて活動を再構築）を設計し、予測された効果と実際のパフォーマンス変化が一致するかを検証する。
• すべての分析計画を事前に登録し、成功例と失敗例を含め、透明性がありオープンな文書化を用いてすべての結果を報告することで、ファイルドローバイアスを回避する。
• ツールがタスク関連の成分（例：数字の識別 vs. ノイズの種類）を的確に分離できたかどうか、およびその成分が分類における機能的役割を予測できたかどうかに基づいて結果を分類する。

実験結果

リサーチクエスチョン

• RQ1 dPCAなどの標準的なシステム神経科学のツールは、人工ニューラルネットワークにおいて、解釈可能で機能的に関連する成分をどの程度うまく特定できるか？
• RQ2 これらのツールが生成するインサイトは、ネットワーク活動に対する標的的な摂動によって実験的に検証可能か？
• RQ3 異なる分析ツールは、神経ネットワークの機能に関する実行可能で予測可能なインサイトをどの程度効果的に得られるか？
• RQ4 神経データ科学における分析ツールの質と有用性を客観的に評価するための基準は何か？
• RQ5 ANN上で体系的なテストにより、現在のツールの限界を特定し、改善された手法の開発を促進できるか？

主な発見

• ノイズを含む数字分類タスクを学習させたANNにdPCAを適用したところ、数字の識別とノイズの種類のための別々の部分空間が明確に特定され、タスクパラメータの有効な分離が示された。
• ノイズに関連するdPCを除いてネットワーク活動を再構築したところ、分類パフォーマンスが向上した。これは、これらの成分がタスクに必須でないことを確認するものであり、分析インサイトの妥当性が裏付けられた。
• 解釈可能ではあるが実行不能なインサイトをもたらす分析ツールは、検証可能な予測を導けないため、限定的な価値しか持たない。
• nullまたは解釈不能な結果をもたらすツールは、透明性を持って記録・報告されるべきであり、それらの有用性についての誤解を避けるためである。
• 分析インサイトが予測を導き、その後の実験で確認されるという、最高の成功レベルがdPCA摂動実験で示された。これにより、この手法の潜在的限界が明確に示された。
• 失敗を含むすべてのテスト結果の事前登録と完全な報告は、バイアスを回避し、ツール評価におけるメソドロジカルな厳密性を保つために不可欠である。