[논문 리뷰] The Nonlinearity Coefficient - A Practical Guide to Neural Architecture Design

George Philipp|arXiv (Cornell University)|2021. 05. 25.

Adversarial Robustness in Machine Learning참고 문헌 217인용 수 4

한 줄 요약

이 논문은 훈련 이전에 신경망 아키텍처의 비선형성 정도를 측정하는 새로운 스칼라 지표인 비선형성 계수(NLC)를 소개한다. 무작위로 초기화된 네트워크의 NLC를 바탕으로 테스트 오차를 높은 정확도로 예측함으로써, 저자들은 훈련 없이도 모델 복잡도와 성능을 최적화할 수 있는 제로샷 아키텍처 설계를 가능하게 한다. 이는 평균장 이론에 기반한 이론적으로 타당하고 계산적으로 효율적인 지표를 바탕으로 한다.

ABSTRACT

In essence, a neural network is an arbitrary differentiable, parametrized function. Choosing a neural network architecture for any task is as complex as searching the space of those functions. For the last few years, 'neural architecture design' has been largely synonymous with 'neural architecture search' (NAS), i.e. brute-force, large-scale search. NAS has yielded significant gains on practical tasks. However, NAS methods end up searching for a local optimum in architecture space in a small neighborhood around architectures that often go back decades, based on CNN or LSTM. In this work, we present a different and complementary approach to architecture design, which we term 'zero-shot architecture design' (ZSAD). We develop methods that can predict, without any training, whether an architecture will achieve a relatively high test or training error on a task after training. We then go on to explain the error in terms of the architecture definition itself and develop tools for modifying the architecture based on this explanation. This confers an unprecedented level of control on the deep learning practitioner. They can make informed design decisions before the first line of code is written, even for tasks for which no prior art exists. Our first major contribution is to show that the 'degree of nonlinearity' of a neural architecture is a key causal driver behind its performance, and a primary aspect of the architecture's model complexity. We introduce the 'nonlinearity coefficient' (NLC), a scalar metric for measuring nonlinearity. Via extensive empirical study, we show that the value of the NLC in the architecture's randomly initialized state before training is a powerful predictor of test error after training and that attaining a right-sized NLC is essential for attaining an optimal test error. The NLC is also conceptually simple, well-defined for any feedforward network, easy and cheap to compute, has extensive theoretical, empirical and conceptual grounding, follows instructively from the architecture definition, and can be easily controlled via our 'nonlinearity normalization' algorithm. We argue that the NLC is the most powerful scalar statistic for architecture design specifically and neural network analysis in general. Our analysis is fueled by mean field theory, which we use to uncover the 'meta-distribution' of layers. Beyond the NLC, we uncover and flesh out a range of metrics and properties that have a significant explanatory influence on test and training error. We go on to explain the majority of the error variation across a wide range of randomly generated architectures with these metrics and properties. We compile our insights into a practical guide for architecture designers, which we argue can significantly shorten the trial-and-error phase of deep learning deployment. Our results are grounded in an experimental protocol that exceeds that of the vast majority of other deep learning studies in terms of carefulness and rigor. We study the impact of e.g. dataset, learning rate, floating-point precision, loss function, statistical estimation error and batch inter-dependency on performance and other key properties. We promote research practices that we believe can significantly accelerate progress in architecture design research.

연구 동기 및 목표

• 훈련 없이도 신경망 성능을 예측할 수 있는 방법을 개발하여, 코드 작성 이전에 설계 결정을 내릴 수 있도록 한다.
• 비선형성은 모델 복잡도와 일반화 성능의 주요 원인임을 규명한다.
• 비선형성 계수(NLC)라는 이론적으로 타당하고 계산적으로 효율적인 스칼라 지표를 도입하여 아키텍처의 비선형성 정도를 정량화한다.
• 비용이 많이 드는 신경망 아키텍처 탐색(NAS)에 의존하지 않고도 실용적이고 설명 가능한 신경망 아키텍처 설계 프레임워크를 제공한다.
• 핵심 하이퍼파라미터와 통계적 요소가 성능에 미치는 영향을 분리하고 분석할 수 있는 엄밀한 실험 프rotocol을 수립한다.

제안 방법

• 비선형성 계수(NLC)는 평균장 이론에서 유도된 공식을 사용하여, 무작위로 초기화된 상태의 아키텍처의 가중치 행렬과 활성화 함수로부터 계산된다.
• NLC는 레이어를 거쳐 전달되는 비선형 변환의 기대값 크기를 측정하여, 아키텍처의 비선형 표현 능력의 내재된 잠재력을 포착한다.
• 비선형성 정규화 알고리즘을 도입하여 NLC를 목표 값으로 조정함으로써, 제어된 아키텍처 수정을 가능하게 한다.
• 이 방법은 평균장 이론을 활용하여 레이어 활성화의 '메타분포'를 유도함으로써 NLC의 이론적 기반을 제공한다.
• 다양한 무작위로 생성된 아키텍처를 대상으로 실험적 검증을 수행하였으며, 여러 데이터셋과 하이퍼파라미터 설정에서 성능을 측정하였다.
• 통계적 분석을 통해 데이터셋, 최적화 학습률, 정밀도, 손실 함수, 배치 간 상호의존성 등이 오차와 NLC에 미치는 영향을 분리하여 분석하였다.

실험 결과

연구 질문

• RQ1 무작위로 초기화된 상태에서 측정한 신경망 아키텍처의 비선형성은 훈련 후 최종 테스트 오차를 예측할 수 있는가?
• RQ2 비선형성 계수(NLC)는 다양한 아키텍처와 작업에서 모델 성능을 안정적이고 신뢰성 있게 예측할 수 있는가?
• RQ3 비선형성 정규화 절차를 통해 NLC를 조정함으로써 아키텍처 성능를 얼마나 정밀하게 제어할 수 있는가?
• RQ4 학습률, 배치 크기, 부동소수점 정밀도 등의 요소가 NLC와 일반화 오차 간의 관계에 어떤 영향을 미치는가?
• RQ5 NLC 및 관련 지표는 랜덤하게 생성된 아키텍처의 광범위한 공간에서 학습 오차와 테스트 오차의 변동성의 대부분을 설명할 수 있는가?

주요 결과

• 무작위로 초기화된 상태에서 계산된 비선형성 계수(NLC)는 다양한 아키텍처에서 최종 테스트 오차를 강력하게 예측하며, 높은 상관관계를 보였다.
• 적절한 크기의 NLC 범위를 가진 아키텍처는 유의미하게 낮은 테스트 오차를 기록하여, 최적의 비선형성 수준이 성능에 결정적인 영향을 미친다는 것을 시사한다.
• NLC는 잘 정의되어 있으며 계산적으로 효율적이며 평균장 이론에 기반한 이론적 타당성을 지녀 아키텍처 분석의 원칙적인 기초를 제공한다.
• 비선형성 정규화 알고리즘을 통해 NLC를 정밀하게 제어할 수 있어, 훈련 없이도 모델 복잡도를 조정할 수 있도록 한다.
• NLC 및 관련 지표는 랜덤하게 생성된 아키텍처의 광범위한 공간에서 학습 오차와 테스트 오차의 변동성의 상당 부분을 설명한다.
• 연구 결과에 따르면 학습률, 배치 간 상호의존성, 부동소수점 정밀도 등의 요소가 성능에 상당한 영향을 미치지만, 이러한 영향은 NLC에 의해 조절됨을 확인하였다.