[논문 리뷰] Implicit Regularization in Over-parameterized Neural Networks

Masayoshi Kubo, Ryotaro Banno외 2명|arXiv (Cornell University)|2019. 03. 05.

Stochastic Gradient Optimization Techniques참고 문헌 5인용 수 8

한 줄 요약

이 논문은 오버파ram터화된 ReLU 신경망에서 암묵적 정규화를 분석하기 위해 기울기 간격 편차와 기울기 편향을 통계적 측도로 도입한다. stochastic gradient descent (SGD)와 무작위 가중치 초기화가 네트워크 기울기를 부드럽게 변화시키며, 입력 샘플 사이에서 거의 선형적으로 보간하게 하여 명시적 정규화 없이도 낮은 복잡도와 일반화 성능을 달성함을 보여준다.

ABSTRACT

Over-parameterized neural networks generalize well in practice without any explicit regularization. Although it has not been proven yet, empirical evidence suggests that implicit regularization plays a crucial role in deep learning and prevents the network from overfitting. In this work, we introduce the gradient gap deviation and the gradient deflection as statistical measures corresponding to the network curvature and the Hessian matrix to analyze variations of network derivatives with respect to input parameters, and investigate how implicit regularization works in ReLU neural networks from both theoretical and empirical perspectives. Our result reveals that the network output between each pair of input samples is properly controlled by random initialization and stochastic gradient descent to keep interpolating between samples almost straight, which results in low complexity of over-parameterized neural networks.

연구 동기 및 목표

• 오버파라미터화된 신경망이 명시적 정규화 없이도 왜 잘 일반화되는지 이해하기 위해.
• stochastic gradient descent (SGD)와 무작위 가중치 초기화가 네트워크 복잡도를 어떻게 제어하는지 조사하기 위해.
• 입력 샘플 간 신경망 기울기의 기하학적 행동을 캡처하는 통계적 측도를 개발하기 위해.
• 입력 경로를 따라 기울기 변화의 부드러움을 통해 오버파라미터화된 네트워크에서 낮은 일반화 오차를 설명하기 위해.
• SGD와 초기화에 의해 제약을 받는 기울기 변동으로 인해 발생하는 암묵적 정규화에 대한 이론적 및 실증적 증거를 제공하기 위해.

제안 방법

• 기울기 간격 편차와 기울기 편향을 선형 입력 경로를 따라 헤시안 곡률과 네트워크 변동의 대체 측도로 정의하기 위해.
• 입력 쌍 간 선형 보간을 따라 네트워크 출력의 기울기를 무작위 보행 다리로 모델링하기 위해.
• 이 모델을 사용해 입력 데이터 전반에 걸친 ReLU 네트워크 기울기의 전역 변동을 통계적으로 추정하기 위해.
• 표준 아키텍처(MLP, VGG, ResNet)와 데이터셋(MNIST, CIFAR10, CIFAR100)을 활용해 실증적 검증을 수행하기 위해.
• 무작위 보행 다리 모델을 활용해 SGD와 초기화가 기울기 변동을 어떻게 제한하고 선형 유사 보간을 강제로 유도하는지 정량화하기 위해.
• 기울기 변화가 기록되는 비연속점(비가역 영역)에 초점을 맞춰 비연속적인 ReLU 네트워크의 행동을 분석하기 위해.

실험 결과

연구 질문

• RQ1 SGD와 무작위 초기화는 오버파라미터화된 ReLU 네트워크를 어떻게 암묵적으로 정규화하는가?
• RQ2 네트워크 기울기는 입력 샘플 간 얼마나 부드럽게 변화하는가? 이러한 변화를 캡처하는 통계적 측도는 무엇인가?
• RQ3 오버파라미터화된 네트워크의 선형 보간 행동은 입력 경로를 따라 기울기 역학으로 어떻게 설명될 수 있는가?
• RQ4 ReLU 네트워크에서 비연속점이 전역 기하학적 복잡도를 어떻게 인코딩하는가?
• RQ5 기울기 간격 편차와 기울기 편향은 오버파라미터화된 모델의 일반화와 어떻게 관련이 있는가?

주요 결과

• 기울기 간격 편차와 기울기 편향은 여러 표준 아키텍처(MLP, VGG, ResNet)와 데이터셋(MNIST, CIFAR10, CIFAR100)에서 작게 측정되어 입력 경로를 따라 기울기 변화가 최소임을 시사한다.
• ReLU 활성화로 인한 비연속성에도 불구하고, SGD와 초기화에 의해 제어되는 작은 기울기 변동으로 인해 네트워크 출력은 입력 샘플 사이에서 거의 선형적으로 보간된다.
• 네트워크 기울기는 선형 입력 경로를 따라 무작위 보행 다리처럼 행동하며, 이는 암묵적 정규화가 제약을 받는 기울기의 확률적 이동으로 인해 발생함을 시사한다.
• 결과는 최적화 변형에 대해 강건하며, 일반적인 SGD와 Momentum SGD 모두에서 동일하게 유지되어 훈련 과정의 근본적인 성질임을 나타낸다.
• 이 연구는 오버파라미터화된 네트워크에서 암묵적 정규화가 기울기 간격 크기와 활성 노드 수의 제약으로 인해 발생하며, 이로 인해 과도한 복잡도가 방지됨을 드러낸다.
• 이 프레임워크는 피드포워드 맵만을 사용해 깊은 네트워크의 기하학적 복잡도를 평가할 수 있는 일반화 가능한 방법을 제공하며, 다양한 아키텍처에 적용 가능하다.