[논문 리뷰] Understanding Generalization through Visualizations

Wei Huang, Zeyad Emam외 5명|arXiv (Cornell University)|2019. 06. 07.

Neural Networks and Applications참고 문헌 42인용 수 25

한 줄 요약

이 논문은 과도하게 파rameter화된 신경망이 랜덤 레이블을 완전히 학습할 수 있음에도 불구하고 일반화 성능이 뛰어나게 되는 이유를 설명하기 위해 시각화와 실험적 방법을 사용한다. 손실 곡면의 기하학적 특성을 분석함으로써, 확률적 경사하강법(SGD)이 넓고 평탄한 최소값, 즉 고차원 기하학적으로 매우 큰 부스러기 영역을 가진 최소값을 선호함을 보여주며, 이러한 최소값은 고차원 공간에서 매우 높은 확률로 발견될 수 있음을 시사한다. 이는 새로운 데이터에 대해 견고한 일반화를 가능하게 한다.

ABSTRACT

The power of neural networks lies in their ability to generalize to unseen data, yet the underlying reasons for this phenomenon remain elusive. Numerous rigorous attempts have been made to explain generalization, but available bounds are still quite loose, and analysis does not always lead to true understanding. The goal of this work is to make generalization more intuitive. Using visualization methods, we discuss the mystery of generalization, the geometry of loss landscapes, and how the curse (or, rather, the blessing) of dimensionality causes optimizers to settle into minima that generalize well.

연구 동기 및 목표

• 이론적 한계를 넘어서 신경망의 일반화를 직관적으로 이해하는 데 목적이 있다.
• 많은 열악한, 일반화하지 못하는 최소값이 존재하는 바에도 불구하고, 확률적 경사하강법(SGD)이 왜 항상 일반화 성능이 좋은 최소값을 지속적으로 찾는지 탐구하는 데 목적이 있다.
• 고차원 매개변수 공간이 최소값의 평탄함과 큰 부스러기 영역을 가진 최소값을 선호하도록 최적화 알고리즘에 어떻게 영향을 주는지 탐색하는 데 목적이 있다.
• 반사적 실험을 통해 일반화가 손실 곡면의 부스러기 부피와 관련이 있다는 가설을 검증하는 데 목적이 있다.
• 평탄함과 부스러기 부피에 대한 기하학적 직관을 실용적 딥 러닝 모델의 성공과 연결하는 데 목적이 있다.

제안 방법

• t-SNE를 사용해 매개변수 공간의 반복값을 임bedding하고, 이를 근처 최소값과 비교함으로써 신경망에서 SGD의 학습 경로를 시각화한다.
• 시험 데이터를 잘못 분류하도록 유도하는 적대적 예제를 손실 함수에 추가함으로써 일반화 성능이 열악한 '나쁜 최소값'을 생성한다.
• 랜덤 방향에서 최소값 주변을 몬테카를로 샘플링하여 손실 곡면의 부스러기 부피를 측정한다. 3,000개의 랜덤 방향에서의 반경을 이용해 n차원 부피를 추정한다.
• 부스러기 부피를 $ V = \omega_n \mathbb{E}_\phi[r^n(\phi)] $로 정의한다. 여기서 $ \omega_n $는 단위 n차원 구의 부피이고, $ r(\phi) $는 방향 $ \phi $에서의 반경이다.
• 다양한 품질 오염 요인에 대해 일반화 성능(시험 정확도)과 부스러기 부피 간의 상관관계를 평가하기 위해 비교 분석을 수행한다.
• 예를 들어, 콘두르된 고리 형태의 데이터셋을 생성하여 신경망이 날카롭고 좁은 결정 경계를 학습할 수 있는지 테스트한다.

실험 결과

연구 질문

• RQ1 과도하게 파rameter화된 신경망이 랜덤 레이블을 완전히 기억할 수 있음에도 불구하고 왜 일반화 성능이 뛰어나게 되는가?
• RQ2 손실 곡면의 기하학적 특성—특히 부스러기의 평탄함과 부피—는 일반화 성능과 어떻게 관련이 있는가?
• RQ3 왜 고차원 공간에서 SGD는 날카롭고 일반화 성능이 열악한 최소값을 지속적으로 피하는가?
• RQ4 우리가 신경망이 날카로운 결정 경계를 학습하지 못하는 합성 문제를 만들 수 있으며, 이러한 실험은 최적화의 편향을 어떻게 드러내는가?
• RQ5 고차원성이 왜 넓고 평탄한 최소값을 지배적으로 만들며, 결과적으로 SGD가 이들 최소값을 더 잘 찾을 수 있게 하는가?

주요 결과

• ResNet-18를 사용해 CIFAR-10을 학습한 신경망은 92%의 시험 정확도를 달성하지만, 유사한 매개변수 수를 가진 선형 모델은 오직 49%의 정확도를 기록하여, 모델 용량 자체만으로는 일반화가 보장되지 않음을 보여준다.
• 나쁜 최소값은 존재하며, 손실 함수에 악성 예제를 추가함으로써 생성할 수 있다. 이러한 최소값은 거의 완벽한 학습 정확도(100%)를 달성하지만, 시험 정확도는 53% 미만으로, 랜덤 추측 수준에 가깝다.
• 최종 SGD 반복값은 98.5%의 시험 정확도를 기록하여, 나쁜 최소값이 존재하더라도 최적화 알고리즘이 이들을 효과적으로 피한다는 것을 보여준다.
• SVHN 데이터셋에서 좋은 최소값 주변의 부스러기 부피는 나쁜 최소값 주변의 부피보다 최소 10,000개의 지수 차수만큼 크며, 이는 좋은 최소값이 훨씬 더 높은 확률로 발견될 수 있음을 의미한다.
• 일반화 갭이 증가할수록 결정 경계가 외부 요동에 더 민감해지며, 학습 데이터 포인트들이 경계 근처에 '섬'이나 ' peninsulas' 형태로 분포한다.
• 반사적 실험에서 클래스 간 간격을 좁히면, SGD는 원형 결정 경계를 찾지 못하고 오히려 선택적으로 골라낸 불안정한 결정 경계를 생성한다. 이는 안정적이고 넓은 최소값을 선호하는 최적화의 편향을 보여준다.