[논문 리뷰] PCA of high dimensional random walks with comparison to neural network training

Joseph M. Antognini, Jascha Sohl‐Dickstein|arXiv (Cornell University)|2018. 06. 22.

Neural Networks and Applications인용 수 11

한 줄 요약

이 논문은 고차원 랜덤 워크의 주성분 분석(PCA)을 분석하고 신경망 학습 궤적과 비교한다. 고차원에서 대부분의 분산이 첫 번째 몇 개의 PCA 성분에 집중되며, 투영된 궤적은 Lissajous 곡선을 이룬다는 것을 증명한다. 실험 결과, CIFAR-10에서 학습된 ResNet-50과 선형 모델은 랜덤 워크와의 분산 분포 및 궤적 형태가 유사함을 보이며, 이는 확률적 최적화 동역학이 고차원 매개변수 공간에서 랜덤 워크와 유사하다는 것을 시사한다.

ABSTRACT

One technique to visualize the training of neural networks is to perform PCA on the parameters over the course of training and to project to the subspace spanned by the first few PCA components. In this paper we compare this technique to the PCA of a high dimensional random walk. We compute the eigenvalues and eigenvectors of the covariance of the trajectory and prove that in the long trajectory and high dimensional limit most of the variance is in the first few PCA components, and that the projection of the trajectory onto any subspace spanned by PCA components is a Lissajous curve. We generalize these results to a random walk with momentum and to an Ornstein-Uhlenbeck processes (i.e., a random walk in a quadratic potential) and show that in high dimensions the walk is not mean reverting, but will instead be trapped at a fixed distance from the minimum. We finally compare the distribution of PCA variances and the PCA projected training trajectories of a linear model trained on CIFAR-10 and ResNet-50-v2 trained on Imagenet and find that the distribution of PCA variances resembles a random walk with drift.

연구 동기 및 목표

• 고차원 신경망 학습 궤적에 적용된 PCA의 통계적 성질을 이해하기 위해.
• 고차원 공간에서의 랜덤 워크가 신경망 최적화의 기하학을 모델링할 수 있는지 조사하기 위해.
• 신경망 가중치의 PCA 투영이 고유값 분포 및 궤적 형태 측면에서 랜덤 워크의 것과 유사한지 판단하기 위해.
• 모멘타움이 있는 랜덤 워크와 오르누슈타인-울렌벡 과정으로 일반화하여 SGD를 더 정밀하게 모델링하기 위해.
• 선형 모델과 CIFAR-10, ImageNet에서 학습된 ResNet-50-v2에 대한 경험적 PCA를 통해 이론적 결과를 검증하기 위해.

제안 방법

• 영점 평균, 동일분포를 가진 증분을 가정하는 평탄한 공간 내 고차원 랜덤 워크의 PCA 고유값 및 고유벡터에 대한 공식 유도.
• 고차원 및 장거리 궤적의 극한에서, 대부분의 분산이 첫 번째 몇 개의 PCA 성분에 의해 차지됨을 증명.
• 공분산 행렬의 조화 구조로 인해 PCA 투영 궤적이 Lissajous 곡선을 형성함을 분석적으로 보여줌.
• 모멘타움이 있는 랜덤 워크와 오르누슈타인-울렌벡 과정(이차형 잠재력 내 최소점으로의 치우침)으로 일반화.
• ResNet-50-v2와 CIFAR-10에서의 선형 모델에서의 PCA 분산 분포 및 투영 궤적을 이론적 랜덤 워크 모델과 경험적으로 비교.
• ResNet-50-v2와 같은 고매개변수 모델에서 PCA를 가능하게 하기 위해 랜덤 가우시안 투영(30,000 차원)을 사용.

실험 결과

연구 질문

• RQ1 신경망 학습 궤적의 PCA 분산 분포가 고차원 랜덤 워크와 일치하는가?
• RQ2 PCA 부분공간에서의 신경망 매개변수 투영 궤적이 랜덤 워크에서 관찰되는 것과 유사하게 Lissajous 곡선 형태를 띄는가?
• RQ3 모멘타움이 있는 랜덤 워크와 이차형 잠재력 내에서의 궤적이 PCA 성질 측면에서 신경망 학습 동역학과 어떻게 비교되는가?
• RQ4 ResNet-50-v2 매개변수의 PCA가 특히 첫 번째 PCA 성분에서 랜덤 워크와 얼마나 유사한가?
• RQ5 PCA 투영 측면에서, 모델의 전체 학습 궤적을 감소하는 스텝 크기를 가진 랜덤 워크로 근사할 수 있는가?

주요 결과

• 고차원 및 장거리 궤적의 극한에서, 첫 번째 몇 개의 PCA 성분이 랜덤 워크의 대부분의 분산을 차지하며, 신경망 학습에서의 관측 결과와 일치한다.
• 공분산 행렬의 조화 구조로 인해, 랜덤 워크 궤적이 어떤 PCA 부분공간에 투영될 경우 Lissajous 곡선을 형성한다.
• 모멘타움이 있는 랜덤 워크와 오르누슈타인-울렌벡 과정의 경우, 고차원에서 궤적이 평균 회귀하지 않으며 최소점에서 고정된 거리에서 갇혀 있다.
• CIFAR-10에서 학습된 선형 모델의 PCA 분산 분포는 특히 학습 중반에서 오르누슈타인-울렌벡 과정과 매우 유사하다.
• ResNet-50-v2의 PCA 분산 분포는 특히 학습의 마지막 단계에서 첫 번째 성분에 의해 지배되며, 이는 강한 방향성 이동을 나타내며, 랜덤 워크와의 이동과 일치한다.
• 선형 모델과 ResNet-50-v2의 PCA 부분공간에서의 투영 궤적은 랜덤 워크의 것과 강하게 유사하며, 학습 시작 및 종료 시 첫 번째 성분에서 약간의 외부로 튀는 경향 외에는 미미한 편차 외에는 거의 유사하다.