[論文レビュー] Perceptron Theory for Predicting the Accuracy of Neural Networks.

Denis Kleyko, Antonello Rosato+3 more|arXiv (Cornell University)|Dec 14, 2020

Neural Networks and Reservoir Computing参考文献 51被引用数 10

ひとこと要約

この論文は、ニューラルネットワークの層におけるシナプス後和の1次モーメント（平均）と2次モーメント（共分散）に基づくパーセプトロン理論を提案し、分類精度を予測する。この理論は、エコー状態ネットワークおよびディープネットワークへと一般化され、ガウス統計と数値的またはサンプリングベースの近似手法を用いて、小規模および大規模な分類問題に対しても高精度な性能予測を可能にする。

ABSTRACT

Many neural network models have been successful at classification problems, but their operation is still treated as a black box. Here, we developed a theory for one-layer perceptrons that can predict performance on classification tasks. This theory is a generalization of an existing theory for predicting the performance of Echo State Networks and connectionist models for symbolic reasoning known as Vector Symbolic Architectures. In this paper, we first show that the proposed perceptron theory can predict the performance of Echo State Networks, which could not be described by the previous theory. Second, we apply our perceptron theory to the last layers of shallow randomly connected and deep multi-layer networks. The full theory is based on Gaussian statistics, but it is analytically intractable. We explore numerical methods to predict network performance for problems with a small number of classes. For problems with a large number of classes, we investigate stochastic sampling methods and a tractable approximation to the full theory. The quality of predictions is assessed in three experimental settings, using reservoir computing networks on a memorization task, shallow randomly connected networks on a collection of classification datasets, and deep convolutional networks with the ImageNet dataset. This study offers a simple, bipartite approach to understand deep neural networks: the input is encoded by the last-but-one layers into a high-dimensional representation. This representation is mapped through the weights of the last layer into the postsynaptic sums of the output neurons. Specifically, the proposed perceptron theory uses the mean vector and covariance matrix of the postsynaptic sums to compute classification accuracies for the different classes. The first two moments of the distribution of the postsynaptic sums can predict the overall network performance quite accurately.

研究の動機と目的

• 分類精度を予測する汎用的な理論を開発すること、特に現在ブラックボックスとして扱われている分野を対象とすること。
• 既存のエコー状態ネットワークおよびベクトル記号的アーキテクチャの理論を、1層パーセプトロンおよびより深いアーキテクチャへと拡張すること。
• 最終層におけるシナプス後和の1次および2次の統計モーメントのみを用いて、正確な性能予測を可能にすること。
• 大規模分類タスクにおける完全なガウス理論の非可解性に対処するために、数値的および確率的サンプリング手法を用いること。

提案手法

• 理論は、ガウス分布の仮定の下で、出力層におけるシナプス後和の分布をその平均ベクトルと共分散行列でモデル化する。
• 最終層におけるクラス表現の統計的分離度を分析することにより、このフレームワークを分類精度の予測に応用する。
• クラス数が少ない場合には、ガウス統計からの完全理論的予測を評価するために数値積分を用いる。
• クラス数が多い場合には、完全理論の扱いやすい解析的近似と確率的サンプリング手法を用いる。
• この手法は、ネットワークを二部構造として扱う：入力の符号化は前方層が担当し、分類は最終層の重みがシナプス後和へマッピングする。
• 複数のネットワークアーキテクチャおよびデータセットにおいて、理論的精度と実測結果を比較することで予測の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 提案されたパーセプトロン理論は、従来の理論の範囲外であったエコー状態ネットワークの分類性能を正確に予測できるか？
• RQ2 多様な分類データセットにおいて、浅層のランダムに接続されたネットワークのシナプス後和の1次および2次のモーメントが、分類精度をどの程度正確に予測できるか？
• RQ3 ImageNetのような多数のクラスを有する大規模問題において、完全なガウスベース理論をどの程度近似またはサンプリングで代替できるか？
• RQ4 ImageNetで訓練された深層畳み込みネットワークにおいて、理論的予測と実測性能の相違はどの程度か？
• RQ5 この理論は、リザボアコンピューティングや深層ネットワークを含む、さまざまなネットワークアーキテクチャの性能理解を統合するフレームワークとして機能できるか？

主な発見

• 従来の理論ではモデル化できなかったエコー状態ネットワークの性能を、理論が正確に予測した。これは、本理論の広範な適用可能性を示している。
• 浅層のランダムに接続されたネットワークでは、複数のベンチマークデータセットにおいて、理論が分類精度を高い忠実度で予測した。
• ImageNetデータセットでは、確率的サンプリング近似を用いることで、理論の予測結果が実測結果とよく一致した。
• シナプス後和の平均と共分散を用いることで、正確な性能予測に必要な統計的構造が本質的に捉えられた。
• 解析的近似と確率的サンプリング手法により、多数のクラスを有する大規模問題への理論の適用が現実可能になった。
• 理論は、最終層のシナプス後和の統計情報のみで、全体のネットワーク精度を予測可能であることを示し、深層ネットワークの二部構造的視点を支持した。