[논문 리뷰] Gradient Descent Quantizes ReLU Network Features

Hartmut Maennel, Olivier Bousquet외 1명|arXiv (Cornell University)|2018. 03. 22.

Stochastic Gradient Optimization Techniques참고 문헌 10인용 수 27

한 줄 요약

이 논문은 초과 파rameter화된 ReLU 네트워크에서 작은 초기화를 가진 경사하강법이 가중치 벡터를 유한한 수의 데이터에 의존하는 방향으로 양자화시켜, 효과적으로 모델이 유한한 수의 '간단한' 조각별 선형 함수만 학습하도록 제약을 둔다고 제안한다. 핵심 결과는 학습 동역학이 메쉬의 선형 보간과 유사한 함수로 자연스럽게 이어진다는 것이다. 이는 무한한 용량에도 불구하고 일반화가 가능한 이유를 설명할 수 있다.

ABSTRACT

Deep neural networks are often trained in the over-parametrized regime (i.e. with far more parameters than training examples), and understanding why the training converges to solutions that generalize remains an open problem. Several studies have highlighted the fact that the training procedure, i.e. mini-batch Stochastic Gradient Descent (SGD) leads to solutions that have specific properties in the loss landscape. However, even with plain Gradient Descent (GD) the solutions found in the over-parametrized regime are pretty good and this phenomenon is poorly understood. We propose an analysis of this behavior for feedforward networks with a ReLU activation function under the assumption of small initialization and learning rate and uncover a quantization effect: The weight vectors tend to concentrate at a small number of directions determined by the input data. As a consequence, we show that for given input data there are only finitely many, "simple" functions that can be obtained, independent of the network size. This puts these functions in analogy to linear interpolations (for given input data there are finitely many triangulations, which each determine a function by linear interpolation). We ask whether this analogy extends to the generalization properties - while the usual distribution-independent generalization property does not hold, it could be that for e.g. smooth functions with bounded second derivative an approximation property holds which could "explain" generalization of networks (of unbounded size) to unseen inputs.

연구 동기 및 목표

• 초과 파arameter화된 ReLU 네트워크에서 높은 용량에도 불구하고 경사하강법이 잘 일반화되는 이유를 이해한다.
• 작은 가중치 초기화와 학습률이 해 공간을 어떻게 형상화하는지 조사한다.
• 경사하강법이 네트워크 크기와 무관하게 이산적이고 유한한 수의 함수로 이어지는지 탐색한다.
• 학습된 네트워크 함수와 입력 데이터의 메쉬에 대한 선형 보간 간의 유사성을 분석한다.
• 이러한 함수가 둘레 미분이 유계인 부드러운 함수에 대해 근사 성질을 가지는지 결정한다.

제안 방법

• 일층 히든 층을 가진 ReLU 네트워크에서 무한소 초기화 및 학습률의 극한에서 경사하강법의 동역학을 분석한다.
• 학습 과정을 두 단계 메커니즘으로 모델링한다: (i) 가중치 벡터가 이산적인 데이터에 의존하는 방향으로 정렬되고, (ii) 손실가 최소화된다.
• 결과 해를 손실을 최소화하는 방식으로 뉴런을 한 개씩 추가하는 탐욕적 네트워크 구축과 동치로 형식화한다.
• 최종 네트워크 함수가 입력 데이터의 메쉬에 대한 조각별 선형 보간과 등가임을 확립한다.
• 수학적 분석을 통해 네트워크 크기와 무관하게 유한한 수의 함수만 학습될 수 있음을 보여준다.
• 탐욕적 학습 시뮬레이션을 사용해 토이 데이터 및 MNIST에서 모델을 실증적으로 검증한다.

실험 결과

연구 질문

• RQ1 초과 파arameter화된 ReLU 네트워크에서 작은 초기화를 가진 경사하강법이 네트워크 크기와 무관하게 유한한 수의 가능한 함수로 이어지는가?
• RQ2 학습된 함수를 데이터 기반의 메쉬에 대한 조각별 선형 보간으로 해석할 수 있는가?
• RQ3 이러한 함수들이 둘레 미분이 유계인 부드러운 함수에 대해 근사 성질을 보이는가?
• RQ4 이 영역에서 경사하강법의 맥락에서 가중치 벡터가 이산적인 데이터에 의존하는 방향으로 정렬되는 것은 일반적인 특성인가?
• RQ5 이러한 양자화 효과가 딥 네트워크의 일반화를 어느 정도 설명하는가?

주요 결과

• 작은 초기화를 가진 경사하강법은 네트워크 크기와 무관하게 유한한 수의 데이터에 의존하는 방향으로 가중치 벡터를 정렬한다.
• 결과 함수는 조각별 선형이며, 꺾은선의 수가 학습 데이터 수로 제한된다. 예를 들어, 직선 위에 K개의 점이 있을 경우 최대 2K + 1개의 꺾은선이 존재할 수 있다.
• 최종 네트워크 함수는 일반적으로 선형 보간과 유사한 최소 조각별 선형 보간의 탐욕적 구축과 동치이다.
• 수치 실험 결과, 큰 네트워크를 사용하더라도 최종 함수는 단순하고 잘 일반화되며, 특히 기저 함수가 부드러운 경우 더욱 그렇다.
• 모델은 MNIST 학습에서 관찰되는 주요 행동, 예를 들어 활성 뉴런 수가 학습 세트 크기와 비선형적으로 증가하는 경향을 잘 반영한다.
• 애니메이션 분석에서 꺾은선의 정렬이 학습 데이터점이나 전환점에 일치하는 것으로 관찰되어, 해가 강하게 데이터 기반의 구조를 지닌다는 것을 확인할 수 있다.