[논문 리뷰] Identifying Equivalent Training Dynamics

William T. Redman, Juan M. Bello‐Rivas외 4명|arXiv (Cornell University)|2023. 02. 17.

Model Reduction and Neural Networks인용 수 6

한 줄 요약

이 논문은 최적화 경로의 스펙트럼 유사성을 분석하여 기계학습에서 등가 학습 역학을 식별하기 위해 데이터 기반 프레임워크를 제안한다. 쿠프만 연산자 이론을 활용하여, 학습률 대 배치 크기 비율, 레이어 너비, 데이터셋 유형, 활성화 함수가 피드포워드 신경망에서 공액성을 결정짓는 핵심 요소임을 입증한다.

ABSTRACT

Study of the nonlinear evolution deep neural network (DNN) parameters undergo during training has uncovered regimes of distinct dynamical behavior. While a detailed understanding of these phenomena has the potential to advance improvements in training efficiency and robustness, the lack of methods for identifying when DNN models have equivalent dynamics limits the insight that can be gained from prior work. Topological conjugacy, a notion from dynamical systems theory, provides a precise definition of dynamical equivalence, offering a possible route to address this need. However, topological conjugacies have historically been challenging to compute. By leveraging advances in Koopman operator theory, we develop a framework for identifying conjugate and non-conjugate training dynamics. To validate our approach, we demonstrate that comparing Koopman eigenvalues can correctly identify a known equivalence between online mirror descent and online gradient descent. We then utilize our approach to: (a) identify non-conjugate training dynamics between shallow and wide fully connected neural networks; (b) characterize the early phase of training dynamics in convolutional neural networks; (c) uncover non-conjugate training dynamics in Transformers that do and do not undergo grokking. Our results, across a range of DNN architectures, illustrate the flexibility of our framework and highlight its potential for shedding new light on training dynamics.

연구 동기 및 목표

• 기계학습 학습에서 서로 다른 초모수 설정이 동일한 최적화 경로를 유도하는지에 대한 일반적인 방법의 부족을 해결하기 위해.
• 특히 공액성 측면에서 기반 역학적 행동에 따라 기계학습 최적화 알고리즘을 분류할 수 있도록 하기 위해.
• 내부 알고리즘 방정식에 대한 접근이 불가능한 상황에서도 다양한 기계학습 방법 간의 학습 역학을 비교하기 위한 데이터 기반, 일반화 가능한 접근법을 제공하기 위해.
• 특히 딥 네트워크에서의 반복적 기계학습 최적화 과정 분석을 위해 쿠프만 연산자 이론을 확장하기 위해.
• 학습률, 배치 크기, 너비, 활성화 함수, 데이터셋 등 어떤 초모수가 학습 동안 공액 또는 비공액 역학을 유도하는지 밝혀내기 위해.

제안 방법

• 각 업데이트 단계가 상태 전이 맵에 해당하는 이산 시간 동적 시스템으로 기계학습 최적화의 반복적 과정을 모델링한다.
• 관측된 학습 경로에서 스펙트럼 객체(고유값 및 고유 모드)를 추출하기 위해 쿠프만 모드 분해를 적용한다.
• 스펙트럼 유사성—특히 쿠프만 고유값의 겹침—을 기준으로 공액 동적 시스템(등가 최적화 역학을 의미)을 식별한다.
• 데이터 기반 쿠프만 분석을 활용해 온라인 미러 내림셈과 경사하강법 간의 등가성을 확인하며, 분석적 등가성을 데이터 기반 방식으로 재확인한다.
• 완전 연결 네트워크에서 학습률, 배치 크기, 너비, 활성화 함수, 데이터셋 등의 초모수를 체계적으로 변화시켜 쿠프만 스펙트럼에 미치는 영향을 평가한다.
• 다양한 무작위 시드에 따른 쿠프만 스펙트럼 간 워샤르스키 거리 계산을 통해 스펙트럼 유사성의 통계적 안정성을 정량화한다.

Figure 1: Data-driven identification of the conjugacy between online mirror and gradient descent. (A) Example trajectory for $x_{t}$ (red) and $q(u_{t})$ (black), when $f(x)=\sum_{i=1}^{d}x_{i}^{4}$ . Rhombus denotes initialization and star denotes the end of $500$ iterations. (B) Koopman spectra co

실험 결과

연구 질문

• RQ1 딥 네트워크 학습에서 서로 다른 초모수 설정이 등가 최적화 역학을 유도하는 조건은 무엇인가?
• RQ2 쿠프만 스펙트럼 유사성은 온라인 미러 내림셈과 경사하강법과 같은 서로 다른 최적화 알고리즘 간의 공액성을 신뢰성 있게 탐지할 수 있는가?
• RQ3 학습률, 배치 크기, 레이어 너비, 데이터셋, 활성화 함수 중 어떤 초모수가 학습 동역학의 공액성 구조에 가장 크게 영향을 미치는가?
• RQ4 내부 알고리즘 방정식에 대한 접근이 불가능한 상황에서 데이터 기반 쿠프만 분석이 등가 학습 경로를 얼마나 잘 식별할 수 있는가?
• RQ5 MNIST와 같은 실재 데이터셋과 합성 데이터셋 간의 차이 또는 활성화 함수의 차이가 최적화 과정의 스펙트럼 구조와 공액성에 어떤 영향을 미치는가?

주요 결과

• 일부 문제에 대해 온라인 미러 내림셈과 경사하강법 간에 매우 겹치는 쿠프만 스펙트럼이 관찰되어 이들의 분석적 등가성을 뒷받침한다.
• 학습률 대 배치 크기 비율은 최적화 역학이 공액인지 여부를 결정하는 핵심 요소이다.
• 레이어 너비와 데이터셋의 성격(예: 손글씨 vs. 합성)은 학습 동역학의 공액성 구조에 상당한 영향을 미친다.
• 활성화 함수의 선택은 쿠프만 연산자의 스펙트럼 성질에 영향을 미치며, 이는 최적화 경로의 등가성에 영향을 준다.
• 쿠프만 모드 분해를 통한 스펙트럼 분석은 유사한 학습 성능을 보일지라도 서로 다른 초모수 조합이 비공액 역학을 유도할 수 있음을 드러낸다.
• 이 프레임워크는 루트 찾기 알고리즘과 신경망 학습을 포함한 다양한 설정에서 공액성을 성공적으로 식별하여 광범위한 적용 가능성을 입증한다.

Figure 2: Learning rate to batch size ratio controls the conjugacy of training. (A) Training loss, as a function of number of images shown, for different choices of batch size. Loss was first smoothed using a square filter. Width of curves denotes $25^{\text{th}}$ and $75^{\text{th}}$ percentile of