[논문 리뷰] Gram-Gauss-Newton Method: Learning Overparameterized Neural Networks for Regression Problems

Tianle Cai, Ruiqi Gao외 6명|arXiv (Cornell University)|2019. 05. 28.

Neural Networks and Applications참고 문헌 53인용 수 31

한 줄 요약

이 논문은 제곱 손실을 가진 회귀 과제에서 과매개변수화된 신경망을 훈련시키기 위한 새로운 이阶 최적화 알고리즘인 그램-가우스-뉴턴(GGN) 방법을 제안한다. 신경장선 커널(NTK)을 활용하고, 야코비안의 그램 행렬(J J⊤)을 사용하여 커널 회귀 문제를 해결함으로써, GGN은 SGD에 비해 근본적인 계산 부담 외에 추가 비용을 거의 들이지 않으면서도 이차 수렴을 달성한다. 이는 대규모 모델에 대해 이론적으로 효율적이고 실용적으로도 유용하다.

ABSTRACT

First-order methods such as stochastic gradient descent (SGD) are currently the standard algorithm for training deep neural networks. Second-order methods, despite their better convergence rate, are rarely used in practice due to the prohibitive computational cost in calculating the second-order information. In this paper, we propose a novel Gram-Gauss-Newton (GGN) algorithm to train deep neural networks for regression problems with square loss. Our method draws inspiration from the connection between neural network optimization and kernel regression of neural tangent kernel (NTK). Different from typical second-order methods that have heavy computational cost in each iteration, GGN only has minor overhead compared to first-order methods such as SGD. We also give theoretical results to show that for sufficiently wide neural networks, the convergence rate of GGN is \emph{quadratic}. Furthermore, we provide convergence guarantee for mini-batch GGN algorithm, which is, to our knowledge, the first convergence result for the mini-batch version of a second-order method on overparameterized neural networks. Preliminary experiments on regression tasks demonstrate that for training standard networks, our GGN algorithm converges much faster and achieves better performance than SGD.

연구 동기 및 목표

• 높은 계산 비용으로 인해 딥러닝에서 이阶 방법의 실용적 사용이 제한된 문제를 해결하기 위해.
• 헤시안 기반 접근법의 빠른 수렴을 유지하면서도 계산 비용이 효율적인 이阶 방법을 개발하기 위해.
• 과매개변수화된 신경망에서 이阶 방법의 미니배치 변종에 대한 이론적 수렴 보장을 수립하기 위해.
• 신경망 최적화와 신경장선 커널(NTK)을 통한 커널 회귀 간의 관계를 활용하기 위해.
• 각 단계에서 NTK 기반의 회귀를 직접 해결하여 더 빠른 훈련과 향상된 성능을 달성하기 위해.

제안 방법

• GGN 방법은 헤시안 근사 대신 야코비안의 그램 행렬 J J⊤를 사용하여 가우스-뉴턴 업데이트를 재구성함으로써, 계산 비용을 O(m²)에서 O(n²)로 감소시킨다. 여기서 n은 훈련 샘플 수이다.
• 각 반복에서 네트워크 출력의 파라미터에 대한 야코비안에서 유도된 커널을 사용하여 커널 회귀 문제를 해결한다.
• 미니배치를 사용하여 확률적 성격을 도입함으로써 일반화 성능을 향상시키고 반복당 비용을 줄이며, 그램 행렬의 크기는 배치 크기 b에 따라 b×b로 척도가 증가한다.
• 알고리즘은 그램 행렬의 역행렬을 사용하여 암묵적으로 뉴턴 유형의 업데이트를 수행하며, 이는 헤시안이 비가역일지라도 잘 조절된 상태로 유지될 수 있다.
• 이론적 분석 결과, GGN은 충분히 넓은 네트워크에서는 이차 수렴을 달성하며, SGD의 선형 수렴보다 뛰어나다.
• 스펙트럼 노름과 고유값 경계를 사용하여 파라미터 업데이트를 밀도 있는 영역 내에서 제한함으로써 안정성과 수렴성을 유지하도록 설계되었다.

실험 결과

연구 질문

• RQ1 계산 부담을 줄임으로써 대규모 과매개변수화된 신경망에 대해 이阶 최적화를 실용적으로 가능하게 할 수 있는가?
• RQ2 각 단계에서 NTK 기반의 커널 회귀를 해결하는 것이 SGD와 같은 표준 일阶 방법보다 더 빠른 수렴을 이끌 수 있는가?
• RQ3 과매개변수화된 영역에서 이阶 방법의 미니배치 변종이 이론적 수렴 보장을 달성할 수 있는가?
• RQ4 이계 최적화에서 헤시안 근사 대체로 그램 행렬 J J⊤가 실현 가능하고 안정적인가?
• RQ5 NTK 프레임워크 하에서 과매개변수화된 네트워크에 이阶 방법을 적용할 경우 수렴 속도는 어떻게 되는가?

주요 결과

• GGN은 충분히 넓은 과매개변수화된 신경망에서 이차 수렴을 달성하며, SGD의 선형 수렴 속도보다 뚜렷이 뛰어나다.
• GGN의 반복당 계산 부담은 SGD에 비해 극히 미미하며, 오직 J J⊤와 그 역행렬 계산만 추가로 필요하다. 이 둘의 크기는 모두 n×n 또는 b×b이다.
• 과매개변수화된 신경망에서 미니배치 이阶 방법에 대한 첫 이론적 수렴 보장이 수립되었으며, 수렴 속도는 O((1−Ω(λ₀²/n²))ᵗ)이다.
• 실험 결과, GGN은 표준 회귀 과제에서 SGD보다 훨씬 더 빠르게 수렴하고 더 뛰어난 성능을 달성한다.
• 파라미터 업데이트가 밀도 있는 영역 B(R) 내에서 제한되어 있어 훈련 전반에 걸쳐 안정성이 유지되며, R=Θ(n⁵/λ₀⁴)이다.
• 이론적 분석을 통해 그램 행렬 Gₜᵢ,ᵢ의 역행렬이 잘 조절되어 있고 유한한 경계를 가짐을 확인하여 수치적 안정성을 보장한다.