[논문 리뷰] The Nonlinearity Coefficient - Predicting Generalization in Deep Neural Networks

George Philipp, Jaime Carbonell|arXiv (Cornell University)|2018. 06. 01.

Neural Networks and Applications참고 문헌 35인용 수 7

한 줄 요약

이 논문은 완전히 연결된 피드포워드 네트워크에서 일반화 성능을 예측할 수 있는, 무작위로 초기화된 가중치에서 계산되는 기울기 기반 메트릭인 비선형성 계수(NLC)를 도입한다. NLC는 입력과 출력 공분산 행렬, 그리고 입력-출력 자코비안을 조합하여 비선형성의 정도를 측정하며, 경험적으로 적절한 크기의 NLC를 확보할 경우 테스트 오차가 낮아지는 경향이 강하게 나타나, 학습 이전에 열악한 아키텍처를 조기에 거부할 수 있다.

ABSTRACT

For a long time, designing neural architectures that exhibit high performance was considered a dark art that required expert hand-tuning. One of the few well-known guidelines for architecture design is the avoidance of exploding gradients, though even this guideline has remained relatively vague and circumstantial. We introduce the nonlinearity coefficient (NLC), a measurement of the complexity of the function computed by a neural network that is based on the magnitude of the gradient. Via an extensive empirical study, we show that the NLC is a powerful predictor of test error and that attaining a right-sized NLC is essential for optimal performance. The NLC exhibits a range of intriguing and important properties. It is closely tied to the amount of information gained from computing a single network gradient. It is tied to the error incurred when replacing the nonlinearity operations in the network with linear operations. It is not susceptible to the confounders of multiplicative scaling, additive bias and layer width. It is stable from layer to layer. Hence, we argue that the NLC is the first robust predictor of overfitting in deep networks.

연구 동기 및 목표

• 딥 네트워크에서 일반화 성능을 예측할 수 있는 신뢰할 수 있는 사전 학습 메트릭의 부족을 해결하기 위해.
• 입력 스케일, 편향, 차원 수와 같은 일반적인 아키텍처 혼란 요인에 대해 불변인 기울기 기반 메트릭을 개발하기 위해.
• 완전히 연결된 네트워크에서 테스트 오차와 강하게 상관관계를 가지는 비선형성 정도를 캡처하는 단일 스칼라 메트릭을 식별하기 위해.
• 학습을 수행하기 이전에 훈련 결과가 열악할 것으로 예측함으로써, 열악한 아키텍처를 조기에 탐지할 수 있도록 하기 위해.

제안 방법

• 비선형성 계수(NLC)는 출력 공분산 행렬과 입력-출력 자코비안의 공분산의 곱의 트레이스를 입력 공분산의 트레이스로 정규화한 값으로 정의된다.
• NLC는 두 단계 추정기법을 사용하여 계산된다: 먼저 미니배치를 통해 평균 출력과 출력 공분산을 계산하고, 그 다음 랜덤 가우시안 벡터의 역전파를 통해 자코비안의 트레이스를 추정한다.
• 계산 과정에서 수치 안정성을 확보하고 특히 저정밀도 환경에서 안정성을 높이기 위해 배치 정규화를 사용한다.
• NLC는 선형 함수로 근사 가능한 입력 영역의 상대 직경과 관련되어 있어, 네트워크의 내재된 비선형성과 연결된다.
• NLC는 학습 또는 하이퍼파rameter 튜닝 이전의 무작위 초기화 상태에서 계산되므로, 학습 이전에 적용 가능하다.
• 기존의 많은 기울기 기반 메트릭과는 달리, 입력 스케일, 입력 편향, 입력 차원 수의 변화에 대해 강건하다.

실험 결과

연구 질문

• RQ1 네트워크 초기화 시점에 계산되는 기울기 기반 메트릭이 딥 네트워크의 일반화 성능을 예측할 수 있는가?
• RQ2 비선형성 정도를 잘 캡처하고 테스트 오차와 강하게 상관관계를 가지는 단일 스칼라 메트릭이 존재하는가?
• RQ3 입력 스케일, 입력 편향, 입력 차원 수와 같은 혼란 요인에 대해 제안된 메트릭이 얼마나 강건한가?
• RQ4 완전히 연결된 피드포워드 네트워크에서 '적절한 크기의' NLC를 확보하면 최적의 테스트 오차를 달성하는가?

주요 결과

• 무작위 초기화 상태에서 계산된 NLC는 다양한 완전히 연결된 피드포워드 네트워크에서 최종 테스트 오차를 강력하게 예측한다.
• 최적의 NLC 값을 갖지 못한 네트워크는 일관되게 높은 테스트 오차를 보이며, 이는 NLC가 열악한 일반화 성능을 신뢰할 만한 지표로 쓰일 수 있음을 시사한다.
• NLC는 입력 스케일, 입력 편향, 입력 차원 수의 변화에 대해 강건하여, 많은 기존 기울기 기반 메트릭보다 더 신뢰할 수 있다.
• NLC는 개념적으로 단순하고 계산 비용이 저렴하며, 학습 이전에 열악한 아키텍처를 제거하는 데 사용되어 상당한 계산 자원 절약이 가능하다.
• NLC는 선형 함수로 잘 근사 가능한 입력 영역의 상대 직경과 상관관계가 있으며, 이는 네트워크의 내재된 비선형성과 연결된다.
• 적절한 배치 정규화와 두 단계 추정을 통해, 저정밀도 부동소수점 산술에서도 NLC는 안정적이고 정확하게 유지된다.