[논문 리뷰] Perceptron Theory for Predicting the Accuracy of Neural Networks.

Denis Kleyko, Antonello Rosato외 3명|arXiv (Cornell University)|2020. 12. 14.

Neural Networks and Reservoir Computing참고 문헌 51인용 수 10

한 줄 요약

이 논문은 신경망 레이어 내 분류 정확도를 예측하기 위해 시냅스 후 합계의 첫 번째 두 모멘트(평균 및 공분산)를 기반으로 한 퍼셉트론 이론을 제안한다. 이 이론은 이전 이론을 에코 스테이트 네트워크와 딥 네트워크로 일반화하여, 가우시안 통계 및 수치적 또는 샘플링 기반 근사법을 통해 정확한 성능 예측이 가능하게 하며, 특히 소규모 및 대규모 분류 문제에서 유용하다.

ABSTRACT

Many neural network models have been successful at classification problems, but their operation is still treated as a black box. Here, we developed a theory for one-layer perceptrons that can predict performance on classification tasks. This theory is a generalization of an existing theory for predicting the performance of Echo State Networks and connectionist models for symbolic reasoning known as Vector Symbolic Architectures. In this paper, we first show that the proposed perceptron theory can predict the performance of Echo State Networks, which could not be described by the previous theory. Second, we apply our perceptron theory to the last layers of shallow randomly connected and deep multi-layer networks. The full theory is based on Gaussian statistics, but it is analytically intractable. We explore numerical methods to predict network performance for problems with a small number of classes. For problems with a large number of classes, we investigate stochastic sampling methods and a tractable approximation to the full theory. The quality of predictions is assessed in three experimental settings, using reservoir computing networks on a memorization task, shallow randomly connected networks on a collection of classification datasets, and deep convolutional networks with the ImageNet dataset. This study offers a simple, bipartite approach to understand deep neural networks: the input is encoded by the last-but-one layers into a high-dimensional representation. This representation is mapped through the weights of the last layer into the postsynaptic sums of the output neurons. Specifically, the proposed perceptron theory uses the mean vector and covariance matrix of the postsynaptic sums to compute classification accuracies for the different classes. The first two moments of the distribution of the postsynaptic sums can predict the overall network performance quite accurately.

연구 동기 및 목표

• 현재 성능이 검은 상자로 간주되는 경우에도 일반화 가능한 이론을 개발하여 신경망의 분류 정확도를 예측하는 것.
• 기존의 에코 스테이트 네트워크 및 벡터 심볼릭 아키텍처 이론을 일층 퍼셉트론과 더 깊은 아키텍처로 확장하는 것.
• 최종 레이어의 시냅스 후 합계의 첫 번째 두 통계 모멘트만을 사용하여 정확한 성능 예측을 가능하게 하는 것.
• 대규모 분류 작업을 위한 전체 가우시안 기반 이론의 비가역성 문제를 수치적 및 확률적 샘플링 방법으로 해결하는 것.

제안 방법

• 이론은 가우시안 가정 하에 최종 레이어의 시냅스 후 합계 분포를 그 평균 벡터와 공분산 행렬로 모델링한다.
• 이 프레임워크를 활용하여 최종 레이어에서 클래스 표현 간의 통계적 분리도 분석함으로써 분류 정확도를 예측한다.
• 작은 클래스 수의 경우, 가우시안 통계에서 유도된 전체 이론 예측을 평가하기 위해 수치 적분을 사용한다.
• 큰 클래스 수의 경우, 전체 이론의 접근 가능한 해석적 근사와 함께 확률적 샘플링 방법을 적용한다.
• 이 방법은 네트워크를 이원적 시스템으로 간주한다: 이전 레이어에 의한 입력 인코딩과 마지막 레이어 가중치에 의한 시냅스 후 합계로의 분류 맵핑.
• 다양한 네트워크 아키텍처와 데이터셋을 대상으로 이론적 정확도와 실험 결과를 비교하여 예측을 검증한다.

실험 결과

연구 질문

• RQ1 기존 이론의 범위를 벗어난 에코 스테이트 네트워크의 분류 성능을 제안된 퍼셉트론 이론이 정확하게 예측할 수 있는가?
• RQ2 다양한 분류 데이터셋에서, 얕은 무작위로 연결된 네트워크에서 시냅스 후 합계의 첫 번째 두 모멘트가 정확도를 얼마나 잘 예측할 수 있는가?
• RQ3 이미지넷과 같은 많은 클래스를 포함한 대규모 문제에서 전체 가우시안 기반 이론을 근사하거나 샘플링할 수 있는 정도는 어느 정도인가?
• RQ4 이미지넷에서 트레이닝된 딥 컨volution 네트워크에서 이론적 예측은 실험적 성능과 얼마나 유사한가?
• RQ5 이 이론은 리저보이어 컴퓨팅과 딥 네트워크를 포함한 다양한 네트워크 아키텍처의 성능을 이해하는 통합 프레임워크로 기능할 수 있는가?

주요 결과

• 이론은 이전 이론이 모델링할 수 없었던 에코 스테이트 네트워크의 성능을 성공적으로 예측하여 더 넓은 적용 가능성을 입증한다.
• 얕은 무작위로 연결된 네트워크에서는 다양한 벤치마크 데이터셋에서 높은 정밀도로 분류 정확도를 예측한다.
• 이미지넷 데이터셋에서, 확률적 샘플링 근사를 사용할 경우 이론의 예측이 실험 결과와 매우 유사하게 일치한다.
• 시냅스 후 합계의 평균과 공분산을 사용하는 것은 정확한 성능 예측에 필요한 본질적인 통계적 구조를 포괄한다.
• 해석적 근사 및 확률적 샘플링 방법은 많은 클래스를 포함한 대규모 문제에 이 이론을 적용할 수 있는 실용적인 길을 제공한다.
• 이론은 마지막 레이어의 시냅스 후 합계 통계만으로도 전체 네트워크 정확도를 예측할 수 있음을 드러내며, 딥 네트워크에 대한 이원적 시각을 뒷받침한다.