[논문 리뷰] Visualizing the Loss Landscape of Neural Nets

Hao Li, Zheng Xu외 3명|arXiv (Cornell University)|2017. 12. 28.

Advanced Neural Network Applications참고 문헌 31인용 수 621

한 줄 요약

이 논문은 신경망 손실 지형을 시각화하고, 의미 있는 기하학적 비교를 위한 필터 단위 정규화를 도입하며, 지형의 형태를 아키텍처, 학습 매개변수, 일반화와 연결하고, 최적화 궤적의 시각화를 제시한다.

ABSTRACT

Neural network training relies on our ability to find "good" minimizers of highly non-convex loss functions. It is well-known that certain network architecture designs (e.g., skip connections) produce loss functions that train easier, and well-chosen training parameters (batch size, learning rate, optimizer) produce minimizers that generalize better. However, the reasons for these differences, and their effects on the underlying loss landscape, are not well understood. In this paper, we explore the structure of neural loss functions, and the effect of loss landscapes on generalization, using a range of visualization methods. First, we introduce a simple "filter normalization" method that helps us visualize loss function curvature and make meaningful side-by-side comparisons between loss functions. Then, using a variety of visualizations, we explore how network architecture affects the loss landscape, and how training parameters affect the shape of minimizers.

연구 동기 및 목표

• 신경 손실 지형이 학습 가능성과 일반화와 어떻게 관련되는지 이해한다.
• 네트워크의 규모 불변성을 고려한 강력한 시각화 방법을 개발한다.
• 아키텍처(스킵 연결, 깊이, 너비)가 지형 기하에 어떤 영향을 미치는지 경험적으로 특징화한다.
• 학습 매개변수(배치 크기, 가중치 감소)가 극값 및 일반화에 어떤 영향을 주는지 파악한다.
• 최적화 궤적을 시각화하여 그 차원성과 동역학을 드러낸다.

제안 방법

• 아키텍처 간 의미 있는 2D/등고선 시각화를 가능하게 하기 위해 필터 단위 정규화를 제안한다.
• 극값 주변에서 고해상도 2D 등고선을 사용하여 예민성/평탄성을 연구한다.
• Lanczos를 통해 해시안 고유값(최소/최대)을 계산하여 극값 주변의 비볼록성을 정량화한다.
• PCA 기반 방향으로 SGD 궤적을 시각화하여 저차원 구조를 드러낸다.
• CIFAR-10에서 다양한 아키텍처(ResNet 변종, DenseNet, Wide-ResNet)와 학습 설정을 비교한다.
• 재현성을 위해 코드/도표 자원을 제공한다.

실험 결과

연구 질문

• RQ1 네트워크 아키텍처(예: 스킵 연결)가 손실 지형과 그 비볼록성에 어떻게 영향을 미치는가?
• RQ2 학습 매개변수(배치 크기, 가중치 감소)가 극값의 예민성 및 일반화에 어떤 영향을 미치는가?
• RQ3 극값의 기하학적 특성(평탄한지 거친한지)과 일반화 성능 사이에 체계적인 관계가 있는가?
• RQ4 손실 지형 시각화가 특정 아키텍처가 다른 아키텍처보다 왜 더 쉽게 학습되는지 보여줄 수 있는가?
• RQ5 고차원 공간에서 최적화 궤적을 시각화하는 올바른 방법은 무엇인가?

주요 결과

• 필터 정규화는 극값을 나란히 비교할 수 있게 하며, 평탄성-일반화 사이의 상관관계가 아키텍처 차이에 강건하다는 것을 드러낸다.
• 스킵 연결은 깊이가 증가함에 따라 평탄한 극값을 촉진하고 혼란스러운 비볼록성을 억제한다.
• 스킵 연결이 없는 경우 더 깊은 네트에서 거의 볼록에 가까운 지형에서부터 혼란스러운 손실 지형으로 전이되는 경향이 보이며, 이는 일반화 저하와 상관된다.
• 더 넓은 네트워크는 더 평탄한 극값과 감소된 비볼록성을 보이며, 민감도(샤프니스)는 테스트 오류와 정렬된다.
• 최적화 궤적은 본질적으로 저차원이며 종종 PCA 방향으로 포착되며, 이러한 방향으로의 시각화는 하강 동역학을 드러낸다.
• 해시안 분석은 볼록하게 보이는 영역에 작은 음의 고유값이 있고, 혼란스러운 영역은 더 큰 음의 곡률을 보임을 시사한다.