[논문 리뷰] Implicit Regularization of Discrete Gradient Dynamics in Linear Neural Networks

Gauthier Gidel, Francis Bach외 1명|arXiv (Cornell University)|2019. 04. 30.

Sparse and Compressive Sensing Techniques참고 문헌 27인용 수 27

한 줄 요약

이 논문은 두 층의 선형 신경망에서 이산 그래디언트 디센트가 회귀 문제의 저질서 구성요소를 순차적으로 학습함으로써 최적화를 암묵적으로 정규화함을 보여준다. 이는 점차 증가하는 질서의 감소된 질서 회귀를 모방하는 방식이다. 선형 모델이 구성요소를 동시에 학습하는 반면, 두 층의 아키텍처는 일반화를 향상시키기 위해 암묵적 정규화를 통해 계층적이고 단계적인 학습 경로를 유도한다.

ABSTRACT

When optimizing over-parameterized models, such as deep neural networks, a large set of parameters can achieve zero training error. In such cases, the choice of the optimization algorithm and its respective hyper-parameters introduces biases that will lead to convergence to specific minimizers of the objective. Consequently, this choice can be considered as an implicit regularization for the training of over-parametrized models. In this work, we push this idea further by studying the discrete gradient dynamics of the training of a two-layer linear network with the least-squares loss. Using a time rescaling, we show that, with a vanishing initialization and a small enough step size, this dynamics sequentially learns the solutions of a reduced-rank regression with a gradually increasing rank.

연구 동기 및 목표

• 과도하게 파rameter화된 선형 네트워크에서 이산 그래디언트 역학이 암묵적 정규화로 이어지는 방식을 이해하는 것.
• 두 층의 선형 네트워크에서 최적화의 경로가 선형 모델과 다름을, 특히 구성요소 학습 순서 측면에서 조사하는 것.
• 이중층 네트워크에서 그래디언트 디센트가 점차 증가하는 질서의 근사치를 갖는 해로 수렴하는 이론적 조건을 설정하는 것.
• 모델의 가정을 실제 데이터셋과 시뮬레이션 데이터에서 실험적으로 검증하는 것.

제안 방법

• 저자들은 최소 제곱 손실을 사용한 두 층의 선형 네트워크에서 이산 그래디언트 역학을 분석하고, 시간 스케일링을 통해 이산 및 연속 역학을 연결한다.
• 기존 연구에서 사용된 표준 공통 조건을 완화하는 조건인 가정 1을 도입하여 더 넓은 적용 가능성을 확보한다.
• 소형 초기화와 작은 스텝 크기를 가정할 때, 역학이 회귀 해에 기여하는 정도에 따라 구성요소를 순차적으로 학습함을 증명한다.
• 이론적 분석을 통해 이산 역학이 점차 정규화가 덜된 감소된 질서의 회귀 문제의 해로 수렴함을 보여준다.
• 실험적 검증은 시뮬레이션 데이터와 실제 데이터셋(MNIST, CIFAR-10, ImageNet)을 사용하여 정규화된 편차 지표(Δxy 및 Δx)를 계산하여 가정의 타당성을 테스트한다.
• 재구성 오차와 트레이스 노름을 시간에 따라 모니터링하여 이중층 네트워크와 선형 모델을 비교하고, 구성요소의 순차적 학습을 확인한다.

실험 결과

연구 질문

• RQ1 두 층의 선형 네트워크에서 이산 그래디언트 디센트는 구성요소를 동시에 학습하는 것이 아니라 계층적으로 학습하는가?
• RQ2 이중층 네트워크의 암묵적 정규화는 일반화 측면에서 선형 모델과 비교해 어떻게 다른가?
• RQ3 이론적 분석에 필요한 가정들이 실제 세계 데이터셋에서 어느 정도 성립하는가?
• RQ4 이중층 네트워크의 이산 역학이 감소된 질서의 회귀에서 연속 역학의 행동을 어느 정도 근사하는가?

주요 결과

• 이중층 선형 네트워크의 이산 그래디언트 역학은 최적 해의 순차적 증가 질서 근사치에 해당하는 회귀 해의 구성요소를 순차적으로 학습한다.
• 이러한 순차적 학습 경로는 선형 모델에서는 존재하지 않으며, 모든 구성요소를 동시에 학습하므로 별개의 암묵적 정규화 효과가 있음을 시사한다.
• 가정 1, 작은 스텝 크기, 점차 소멸하는 초기화 조건 하에서 이론적 결과는 역학이 점차 정규화가 덜된 감소된 질서의 회귀 문제의 해로 수렴함을 보여준다.
• MNIST, CIFAR-10, ImageNet에서의 실험적 평가 결과, 정규화된 편차 지표 Δxy 및 Δx는 작게 유지되어(10^-2에서 10^-1 수준), 가정 1이 실질적으로 잘 성립함을 시사한다.
• 시뮬레이션 실험에서 이중층 네트워크의 트레이스 노름과 재구성 오차는 단계적인 방식으로 변화하며, 이론적 연속 역학과 매우 유사한 경향을 보였고, 반면 선형 모델은 부드럽고 비계층적인 행동을 보였다.
• 이중층 네트워크는 선형 모델보다 더 뛰어난 행렬 재구성 성능를 달성하여, 계층적 학습 경로로 인한 일반화 향상이 있음을 시사한다.