[논문 리뷰] Stuck in a What? Adventures in Weight Space

Zachary C. Lipton|arXiv (Cornell University)|2016. 02. 23.

Obesity and Health Practices참고 문헌 1인용 수 12

한 줄 요약

이 논문은 훈련된 신경망이 비판점에 수렴한다는 일반적인 믿음을 도전하며, 대신 가중치가 가중치 공간의 평탄하고 손실이 낮은 영역을 장거리로 이동한다는 것을 보여준다. MNIST에서 주성분 분석(PCA)과 궤적 분석을 통해, 동일한 초기화 상태에서도 서로 다른 데이터 셔플링에 의해 모델이 크게 다를 수 있음을 발견하여, 오차 표면이 국소적으로 비볼록성을 유지하고 있으며, 영속적인 손실이 없는 해가 고립된 국소 최소값이 아니라 광범위하고 연속적인 분지 내에 존재한다는 것을 입증한다.

ABSTRACT

Deep learning researchers commonly suggest that converged models are stuck in local minima. More recently, some researchers observed that under reasonable assumptions, the vast majority of critical points are saddle points, not true minima. Both descriptions suggest that weights converge around a point in weight space, be it a local optima or merely a critical point. However, it's possible that neither interpretation is accurate. As neural networks are typically over-complete, it's easy to show the existence of vast continuous regions through weight space with equal loss. In this paper, we build on recent work empirically characterizing the error surfaces of neural networks. We analyze training paths through weight space, presenting evidence that apparent convergence of loss does not correspond to weights arriving at critical points, but instead to large movements through flat regions of weight space. While it's trivial to show that neural network error surfaces are globally non-convex, we show that error surfaces are also locally non-convex, even after breaking symmetry with a random initialization and also after partial training.

연구 동기 및 목표

• 훈련된 신경망이 비판점에 수렴하는지 아니면 가중치 공간의 평탄한 영역을 통해 이동하는지 조사하기.
• 랜덤 초기화 및 부분적 훈련을 통한 대칭성 붕괴 이후에도 오차 표면이 국소적으로 비볼록성을 유지하는지 평가하기.
• 확률적 데이터 셔플링이 과다구성된 네트워크에서 가중치 궤적의 분리에 어떤 영향을 미치는지 검토하기.
• 차원 축소와 거리 측도를 사용하여 가중치 공간 내 훈련 궤적의 기하학적 구조를 평가하기.

제안 방법

• 드롭아웃과 ℓ² 가중치 감소를 사용하여 MNIST에서 3층 컨볼루션 신경망(819,557개 파라미터)을 훈련시켰다.
• 다양한 랜덤 초기화 상태에서 200 에포크 동안 전체 가중치 궤적을 추적했다.
• 가중치 공간 궤적의 비선형성을 시각화하고 측정하기 위해 2차원 PCA를 적용했다.
• 동일한 초기화 상태에서 다른 데이터 셔플링을 사용한 궤적을 비교하여 분리 정도를 평가했다.
• 고정된 에포크에서 해들 간의 쌍별 유클리드 거리를 측정하여 대칭성과 분지 구조를 평가했다.
• 모델을 10 에포크 훈련한 후, 이를 5번 복제하고 각 복제본을 서로 다른 데이터 셔플링으로 재훈련하여 훈련 후 분리 현상을 테스트했다.

실험 결과

연구 질문

• RQ1 신경망 가중치는 비판점에 수렴하는가, 아니면 가중치 공간의 평탄하고 손실이 낮은 영역을 통해 이동하는가?
• RQ2 랜덤 초기화에 의한 대칭성 붕괴 이후 신경망의 오차 표면은 국소적으로 볼록한가?
• RQ3 동일한 초기화 상태에서도 데이터 셔플링이 가중치 궤적의 분리를 얼마나 유도하는가?
• RQ4 고정된 수의 에포크 이후에 도달한 해들이 원점과 서로 유사한 거리에 있는가, 이는 대칭적인 분지 구조를 시사하는가?
• RQ5 주성분 분석이 가중치 공간 궤적 내에서 저차원의 매끄러운 다양체를 드러낼 수 있는가?

주요 결과

• 가중치 공간 궤적의 첫 두 주성분이 분산의 81.39%를 설명하여, 매우 비선형적이며 저차원적인 경로임을 시사한다.
• 상위 10개 주성분이 분산의 95.63%를 설명하여, 가중치 궤적이 저차원 다양체 위에 존재함을 나타낸다.
• 고정된 에포크 이후 모든 해 쌍이 서로와 원점으로부터 약간의 거리 차이를 보이며, 가중치 공간 내 강력한 대칭성을 나타낸다.
• 10 에포크의 사전 훈련 이후에도 동일한 가중치에서 복제한 네트워크를 서로 다른 데이터 셔플링으로 재훈련한 결과 해가 분리되어 나타나, 지속적인 비볼록성이 있음을 보여준다.
• 모델은 100 에포크에 도달하여 훈련 오차를 0으로 줄였지만, 여전히 평탄한 가중치 공간 영역을 이동했으며, 이는 영속적인 손실이 없는 영역이 고립된 비판점이 아니라는 것을 시사한다.
• 초기화 상태에서 해로 향하는 직선 경로에서는 손실이 단조롭게 감소했지만, 실제 경사하강법 궤적은 매우 비선형적이었으며, 이는 가중치 공간 내 복잡한 동역학이 존재함을 확인한다.