[논문 리뷰] The Nonlinearity Coefficient - Predicting Overfitting in Deep Neural Networks.

George Philipp, Jaime Carbonell|arXiv (Cornell University)|2018. 06. 01.

Neural Networks and Applications인용 수 8

한 줄 요약

이 논문은 딥 네ural 네트워크의 기능적 복잡성을 측정하는 기울기 기반 지표인 비선형성 계수(NLC)를 도입한다. NLC가 테스트 오차와 과적합을 안정적으로 예측함을 보이며, 층 간에 안정적이고 스케일링, 편향, 너비에 영향을 받지 않아 최적의 네트워크 용량을 나타내는 첫 번째 신뢰할 수 있는 지표가 된다.

ABSTRACT

For a long time, designing neural architectures that exhibit high performance was considered a dark art that required expert hand-tuning. One of the few well-known guidelines for architecture design is the avoidance of exploding gradients, though even this guideline has remained relatively vague and circumstantial. We introduce the nonlinearity coefficient (NLC), a measurement of the complexity of the function computed by a neural network that is based on the magnitude of the gradient. Via an extensive empirical study, we show that the NLC is a powerful predictor of test error and that attaining a right-sized NLC is essential for optimal performance. The NLC exhibits a range of intriguing and important properties. It is closely tied to the amount of information gained from computing a single network gradient. It is tied to the error incurred when replacing the nonlinearity operations in the network with linear operations. It is not susceptible to the confounders of multiplicative scaling, additive bias and layer width. It is stable from layer to layer. Hence, we argue that the NLC is the first robust predictor of overfitting in deep networks.

연구 동기 및 목표

• 심층 신경망에서 과적합을 신뢰할 수 있고 측정 가능한 지표로 식별하여 히우리스틱 설계 관행을 초월하는 것.
• 발산하는 기울기 방지를 초과하는 원칙적인 아키텍처 설계 지침의 부족을 해결하는 것.
• 심층 네트워크 내 비선형 변환의 복잡성을 측정하는 지표를 개발하는 것.
• 너비, 스케일링, 편향과 같은 일반적인 아키텍처 혼란 요인에 영향을 받지 않는 일반화 성능 예측 지표를 만드는 것.

제안 방법

• 비선형성 계수(NLC)는 네트워크 출력이 파라미터에 대해 미분한 기울기의 크기로 계산된다.
• NLC는 네트워크 출력이 파라미터 변화에 얼마나 민감한지를 측정하여, 비선형성에 의해 유도된 기능적 복잡성을 반영한다.
• 기울기 계산 시 정보가 얼마나 증가하는지를 평가함으로써 NLC를 정보 이론적 개념과 연결한다.
• 선형 근사에 의해 유도되는 오차를 정량화하기 위해 비선형성 유무에 따라 네트워크 간 NLC를 비교한다.
• 다양한 아키텍처와 학습 제약 조건에서 안정성과 예측 능력을 평가하기 위해 지표를 평가한다.
• 이론적 분석을 바탕으로 이미지 분류 벤치마크에서 광범위한 실험을 수행하여 테스트 오차와의 일관된 상관관계를 입증한다.

실험 결과

연구 질문

• RQ1 심층 신경망에서 아키텍처 하이퍼파rameter와 무관하게 과적합을 예측할 수 있는 단일이고 안정적인 지표가 존재하는가?
• RQ2 기울기의 크기와 심층 네트워크의 정보 내용 및 기능적 복잡성 간의 관계는 어떠한가?
• RQ3 비선형성 요소를 선형 연산으로 대체할 경우 성능 저하 정도는 어느 정도이며, 이를 정량화할 수 있는가?
• RQ4 NLC가 승수 스케일링, 덧셈 편향, 층 너비에 대해 불변함을 보이며 신뢰할 수 있는 진단 도구가 되는가?
• RQ5 적절한 크기의 NLC는 최적의 일반화 성능과 관련이 있는가?

주요 결과

• NLC는 다양한 딥 러닝 아키텍처와 데이터셋에서 테스트 오차를 강력하게 예측한다.
• 최적의 중간 수준의 NLC 값을 가진 네트워크가 가장 낮은 테스트 오차를 기록하여 과소적합과 과적합의 균형을 이루고 있음을 시사한다.
• NLC는 층 간에 안정적이므로 네트워크 전반에 걸쳐 기능적 복잡성의 일관된 측정이 가능하다.
• NLC는 승수 스케일링, 덧셈 편향, 층 너비에 대해 불변하므로 일반적인 아키텍처 변형에 대해 강건하다.
• 비선형성 요소를 선형 연산으로 대체할 경우 테스트 오차가 명백히 증가하며, 이는 NLC 값과 직접적으로 상관된다.
• NLC는 기울기 계산 당 정보 획득을 정량화하며 기울기 동역학과 일반화 능력 간의 연결 고리를 제공한다.