[논문 리뷰] A Capacity Scaling Law for Artificial Neural Networks

Gerald Friedland, Mario Michael Krell|arXiv (Cornell University)|2017. 08. 20.

Neural Networks and Applications참고 문헌 35인용 수 10

한 줄 요약

이 논문은 정보이론을 활용하여 피드포워드 신경망의 정보 용량을 정량화하는 이론적 프레임워크를 제안하며, 손실 없는 메모리(LM) 차원과 맥케이(MK) 차원이라는 두 가지 핵심 용량 한계를 도출한다. 이 두 값은 모두 네트워크의 가중치 수와 선형적으로 증가하며, 각각 완벽한 기억 저장의 상한과 학습 실패 확률 50%의 기준을 제공한다. 이는 다양한 아키텍처와 학습 알고리즘을 통해 반복 가능한 실험으로 검증되었다.

ABSTRACT

We derive the calculation of two critical numbers predicting the behavior of perceptron networks. First, we derive the calculation of what we call the lossless memory (LM) dimension. The LM dimension is a generalization of the Vapnik--Chervonenkis (VC) dimension that avoids structured data and therefore provides an upper bound for perfectly fitting almost any training data. Second, we derive what we call the MacKay (MK) dimension. This limit indicates a 50% chance of not being able to train a given function. Our derivations are performed by embedding a neural network into Shannon's communication model which allows to interpret the two points as capacities measured in bits. We present a proof and practical experiments that validate our upper bounds with repeatable experiments using different network configurations, diverse implementations, varying activation functions, and several learning algorithms. The bottom line is that the two capacity points scale strictly linear with the number of weights. Among other practical applications, our result allows to compare and benchmark different neural network implementations independent of a concrete learning task. Our results provide insight into the capabilities and limits of neural networks and generate valuable know how for experimental design decisions.

연구 동기 및 목표

• 실험적 관찰을 넘어서 인공 신경망의 정보 용량을 측정하기 위한 이론적 기반을 마련하는 것.
• 함수 기억의 한계와 학습 실패의 한계를 예측하는 데 핵심이 되는 두 가지 용량 한계인 손실 없는 메모리(LM) 차원과 맥케이(MK) 차원을 정의하는 것.
• 다양한 네트워크 아키텍처, 활성화 함수, 학습 알고리즘을 통해 반복 가능한 실험을 통해 이러한 이론적 상한을 검증하는 것.
• 구체적인 학습 과제에 종속되지 않는 신경망 구현 간 비교를 위한 임계 용량 기반의 태스크에 종속되지 않는 벤치마킹 방법을 제공하는 것.
• 다이앤드 맥케이의 이전 작업을 다층 퍼셉트론 네트워크로 확장하여 확장 가능한 정보이론적 프레임워크를 제공하는 것.

제안 방법

• 용량을 정보 비트로 해석하기 위해 신경망을 샤논의 통신 모델에 통합하는 것.
• 손실 없는 메모리(LM) 차원을 매개변수 공간의 조합 분석을 통해 유도한 최대 무작위 레이블링 수로 정의하는 것.
• 확률적 상한과 정보이론적 추론을 기반으로, 학습 성공률이 50%로 떨어지는 지점인 맥케이(MK) 차원을 유도하는 것.
• 일반화 효과를 제거하고 순수한 기억 저장 용량을 분리하기 위해 무작위로 균일하게 분포된 입력 포인트를 사용하는 것.
• 실험적 LM 차원이 일반적으로 이론적 상한보다 낮은 이유를 설명하기 위해 데이터 처리 부등식을 적용하는 것.
• 깊이, 너비, 활성화 함수(ReLU, 시그모이드) 및 최적화 알고리즘을 변화시킨 제어 실험을 통해 이론적 예측을 검증하는 것.

실험 결과

연구 질문

• RQ1 신경망의 매개변수 수에 따라 무작위 레이블링을 얼마나 많은 수까지 완벽하게 기억할 수 있는가에 대한 이론적 상한은 무엇인가?
• RQ2 신경망이 주어진 함수를 학습하는 데 실패할 가능성이 50%가 되는 지점은 언제이며, 이는 네트워크 크기와 어떻게 비례하는가?
• RQ3 다양한 활성화 함수와 학습 알고리즘이 이론적 용량 한계의 실질적 구현에 어떤 영향을 미치는가?
• RQ4 이론적 용량 상한은 특정 학습 과제에 종속되지 않는 신경망 구현 간 비교를 위한 보편적 기준이 될 수 있는가?
• RQ5 왜 실험적 LM 차원은 이론적 예측보다 낮게 나타나며, 데이터 처리 부등식은 이 격차에 어떤 역할을 하는가?

주요 결과

• 손실 없는 메모리(LM) 차원은 네트워크의 가중치 수와 엄격하게 선형적으로 증가하며, 완벽한 기억 저장 용량의 상한을 제공한다.
• 맥케이(MK) 차원 역시 가중치 수와 선형적으로 증가하며, 학습 성공률이 50%로 떨어지는 기준점으로서의 역할을 한다.
• ReLU, 시그모이드 및 기타 활성화 함수를 사용한 실험을 통해 LM 및 MK 차원이 다양한 아키텍처와 학습 알고리즘에서 예측된 선형 증가를 보였다.
• 실험 결과, 실제 네트워크가 이론적 상한보다 항상 낮은 성능을 보였으며, 데이터 처리 부등식의 영향으로 LM 차원이 일반적으로 예측된 것보다 낮게 나타났다.
• 용량 스케일링 법칙은 태스크에 종속되지 않는 신경망 구현의 벤치마킹을 가능하게 하여, 다양한 아키텍처와 학습 방법 간의 효율성 및 수렴 성능을 직접 비교할 수 있게 한다.
• 이론적 프레임워크는 공 ing 설계를 위한 실용적인 상한을 제공하며, 주어진 함수 클래스에 대해 네트워크가 과도하게나 혹은 부족하게 파rameter화되지 않도록 보장한다.