[論文レビュー] Charting and navigating the space of solutions for recurrent neural networks

Elia Turner, Kabir Dabholkar+1 more|arXiv (Cornell University)|Nov 17, 2021

Neural dynamics and brain function被引用数 10

ひとこと要約

本論文は、神経科学にインspiredされたタスクにおける動的状態、縮約されたダイナミクスグラフ、および外挿挙動を分析することで、再帰的ニューラルネットワーク（RNNs）の解の空間をマップしナビゲートするフレームワークを導入する。RNNsが同一のタスクに訓練されても、解が質的に異なることが判明した—神経活動から部分的に予測可能であるが、機械学習および計算神経科学における解の普遍性の仮定に挑戦するものである。

ABSTRACT

Recurrent Neural Networks (RNNs) were recently successfully used to model the way neural activity drives task-related behavior in animals, operating under the implicit assumption that the obtained solutions are universal. Observations in both neuroscience and machine learning challenge this assumption. Animals can approach a given task with a variety of strategies, and training machine learning algorithms introduces the phenomenon of underspecification. These observations imply that every task is associated with a space of solutions. To date, the structure of this space is not understood, limiting the approach of comparing RNNs with neural data. Here, we characterize the space of solutions associated with various tasks. We first study a simple two-neuron network on a task that leads to multiple solutions. We trace the nature of the final solution back to the network's initial connectivity and identify discrete dynamical regimes that underlie this diversity. We then examine three neuroscience-inspired tasks: Delayed and interval discrimination, and Time reproduction. For each task, we find a rich set of solutions. Variability can be found directly in the neural activity of the networks, and additionally by testing the trained networks' ability to extrapolate, as a perturbation to a system often reveals hidden structure. Furthermore, we relate extrapolation patterns to specific dynamical objects and effective algorithms found by the networks. We introduce a tool to derive the reduced dynamics of networks by generating a compact directed graph describing the essence of the dynamics with regards to behavioral inputs and outputs. Using this representation, we can partition the solutions to each task into a handful of types and partially predict them from neural features. Our results shed light on the concept of the space of solutions and its uses in Machine learning and in Neuroscience.

研究の動機と目的

• 同一のタスクに訓練されたRNNsにおける解の空間の存在と構造を調査し、解の普遍性の仮定に挑戦すること。
• 遅延識別、時間間隔識別、時間再現といったタスクに訓練されたRNNsにおいて、質的に異なる複数の動的解を同定・特徴化すること。
• RNNのダイナミクスをコン pact で解釈可能な有向グラフに縮約する手法を開発すること。
• 神経活動と外挿挙動が、訓練性能を越えた隠れた変動層をどのように明らかにするかを調査すること。
• 実験的に測定可能な神経的特徴が、ネットワークが採用する解の種類を予測できるかどうかを評価すること。

提案手法

• 遅延識別、時間間隔識別、時間再現という3つの神経科学にインスパイアされたタスクに、同一のハイパーパrameterを用いて多数のRNNsを訓練した。
• ネットワークの挙動をコンパクトな有向グラフに抽象化することで、入力に対する状態間遷移をエンコードする縮約されたダイナミクスグラフを生成した。
• 摂動に基づく外挿テストを用いて、隠れたダイナミカル構造を明らかにし、分布外入力に対する応答パターンに基づいて解を分類した。
• 線形化と固有値解析を適用し、直線的アトラクターを持つネットワークにおける参加比、デコーダーMSE、固有ベクトルノルムといったダイナミカル特徴を定量化した。
• 神経測定値（例：参加比、入力重み相関）と解の種類を相関させ、神経活動からの予測可能性を評価した。
• 誤分類行列と分類指標を用いて、神経的特徴が解の種類を予測するパワーを評価した。

実験結果

リサーチクエスチョン

• RQ1 同一のタスクに訓練されたRNNsの解の空間の構造は何か？ また、その結果として得られる動的状態はどれほど多様か？
• RQ2 外挿挙動は、訓練中に顕在しなかった隠れた計算的構造をどのように明らかにするか？
• RQ3 縮約されたダイナミクスグラフは、RNNの解を明確で解釈可能なタイプに効果的に分割できるか？
• RQ4 訓練中の神経活動パターンが、RNNの最終的な解の種類をどれほど正確に予測できるか？
• RQ5 解の多様性は、動的対象（例：アトラクター）とネットワークが実装する有効なアルゴリズムの両者とどのように関係するか？

主な発見

• 時間再現タスクにおいて、400個の訓練済みLSTMネットワークのうち5つの主要な解の種類が特定され、全体の87％を占めた。それぞれが明確な外挿パターンと縮約されたダイナミクスグラフを示した。
• 訓練中に得られた神経的特徴（参加比、入力重み相関など）は、解の種類を部分的に予測可能であり、予測タスクにおける非ランダムな誤分類行列によって裏付けられた。
• 外挿挙動は、訓練セットの性能を超えた追加の変動層を明らかにした。異なる基本的なダイナミカルオブジェクトに対応する明確な応答パターンが観察された。
• 縮約されたダイナミクスグラフ表現は、解を少数のタイプに効果的に分割し、質的に異なるRNNの挙動を体系的に分類可能にした。
• 文脈依存統合のようなタスクでさえ、ネットワークが直線的アトラクターに収束するが、独立して初期化されたネットワーク間で顕著な定量的変動が残り、神経的測定値間に弱い相関が見られた。
• 広範な訓練にもかかわらず、挑戦的な入力に対する行動的変動は依然として高く保たれ、低訓練誤差が解の多様性やロバストネスの低さを意味するわけではないことが示された。