[논문 리뷰] An analytic theory of generalization dynamics and transfer learning in deep linear networks

Andrew K. Lampinen, Surya Ganguli|arXiv (Cornell University)|2018. 09. 27.

Domain Adaptation and Few-Shot Learning참고 문헌 22인용 수 38

한 줄 요약

이 논문은 특이값 분해(SVD)를 통해 정확한 해를 유도함으로써 깊이 있는 선형 네트워크에서 일반화와 전이학습의 분석 이론을 수립한다. 전이 성능은 원천과 타겟 작업의 특이벡터 간의 정렬과 그 특이값에 의해 결정되며, 최적의 전이 성능는 원천 작업의 특이벡터가 타겟 작업과 정렬되고 특이값이 유지될 때 발생한다.

ABSTRACT

Much attention has been devoted recently to the generalization puzzle in deep learning: large, deep networks can generalize well, but existing theories bounding generalization error are exceedingly loose, and thus cannot explain this striking performance. Furthermore, a major hope is that knowledge may transfer across tasks, so that multi-task learning can improve generalization on individual tasks. However we lack analytic theories that can quantitatively predict how the degree of knowledge transfer depends on the relationship between the tasks. We develop an analytic theory of the nonlinear dynamics of generalization in deep linear networks, both within and across tasks. In particular, our theory provides analytic solutions to the training and testing error of deep networks as a function of training time, number of examples, network size and initialization, and the task structure and SNR. Our theory reveals that deep networks progressively learn the most important task structure first, so that generalization error at the early stopping time primarily depends on task structure and is independent of network size. This suggests any tight bound on generalization error must take into account task structure, and explains observations about real data being learned faster than random data. Intriguingly our theory also reveals the existence of a learning algorithm that proveably out-performs neural network training through gradient descent. Finally, for transfer learning, our theory reveals that knowledge transfer depends sensitively, but computably, on the SNRs and input feature alignments of pairs of tasks.

연구 동기 및 목표

• 깊이 있는 선형 네트워크에서 일반화와 전이학습을 이해하기 위한 엄밀한 분석 프레임워크를 수립하기.
• 선형 네트워크에서 전이학습이 성능을 향상시키는 정확한 수학적 조건을 규명하기.
• 학습 중의 가중치 동역학이 SVD 분해를 통해 일반화와 전이학습과 어떻게 관련되는지 기술하기.
• 특이벡터와 특이값이 전이 효과를 결정하는 데 기여하는 정도를 정량화하기.

제안 방법

• 저자들은 가중치 행렬을 정규직교행렬과 특이값으로 분해할 수 있는 특이값 분해(SVD)를 사용하여 깊이 있는 선형 네트워크를 모델링한다.
• SVD 기반 매개변수화를 통해 확률적 경사하강법(SGD) 중 네트워크 가중치의 정확한 동역학을 유도한다.
• 이 방법은 왼쪽 및 오른쪽 특이벡터와 특이값의 진화를 별도로 분석하며, 특이벡터가 데이터에 의존하는 방향으로 수렴함을 보여준다.
• 전이학습은 원천과 타겟 작업에 해당하는 블록으로 분해된 공동 가중치 행렬을 분석함으로써 수행되며, 작업별 구성요소 간에 직교성이 확보된다.
• 전이 효과는 유사도 행렬 Q = V̄_A^T V̄_B로 정량화되며, 이는 원천과 타겟 작업의 오른쪽 특이벡터 간의 정렬을 측정한다.
• 이론은 전이 성능가 특이벡터의 정렬과 특이값의 유지에만 의존하며, 초기 U 행렬에는 영향을 받지 않는다는 것을 보여준다.

실험 결과

연구 질문

• RQ1 원천과 타겟 작업의 특이벡터와 특이값이 깊이 있는 선형 네트워크에서 전이 성능를 공동으로 어떻게 결정하는가?
• RQ2 SGD 하에서 깊이 있는 선형 네트워크에서 일반화 오차의 정확한 해석적 형태는 무엇인가?
• RQ3 가중치 행렬 내 작업별 구성요소의 직교성이 전이학습에 어떤 영향을 미치는가?
• RQ4 선형 네트워크에서 전이학습이 일반화를 향상시키는 조건은 무엇인가?
• RQ5 어떤 전처리 전략이 선형 모델에서 더 나은 전이 성능을 낳는가?

주요 결과

• 전이 성능는 원천 작업의 오른쪽 특이벡터와 타겟 작업의 오른쪽 특이벡터 간의 정렬 정도를 측정하는 유사도 행렬 Q = V̄_A^T V̄_B로 결정된다.
• 왼쪽 특이벡터(U 행렬)는 전이 성능에 영향을 주지 않으며, 이는 두 작업 간에 직교적이고 분리되어 있기 때문이다.
• 최적의 전이 성능는 원천 작업의 특이벡터가 타겟 작업의 특이벡터와 정렬되고 특이값이 두 작업 간에 유지될 때 발생한다.
• 일반화 오차는 해석적으로 유도되었으며, 특이값과 특이벡터의 정렬 정도에 의존함을 보여준다.
• 이론은 일부 전처리 전략이 더 효과적인 이유를 설명한다: 이러한 전략들은 원천 작업의 특이벡터를 타겟 작업의 구조와 정렬시킨다.
• 모델은 원천과 타겟 작업의 특이벡터가 직교할 경우, 특이값의 크기와는 무관하게 전이가 실패한다고 예측한다.