[논문 리뷰] Catastrophic Fisher Explosion: Early Phase Fisher Matrix Impacts Generalization

Stanisław Jastrzȩbski, Devansh Arpit외 7명|arXiv (Cornell University)|2020. 12. 28.

Neural Networks and Applications인용 수 13

한 줄 요약

이 논문은 '비극적 피셔 폭발(catastrophic Fisher explosion)'이라는 현상을 규명한다. 이는 초기 학습 단계에서 작은 학습률을 사용할 경우 피셔 정보 행렬(Fisher Information Matrix, FIM)의 추적(trace)이 급격히 증가하며, 이는 일반화 성능이 떨어지는 데 강하게 상관관계가 있음을 의미한다. 연구는 SGD가 학습 시작부터 FIM의 추적을 암묵적으로 정규화함을 보이며, FIM의 추적을 명시적으로 정벌함으로써 일반화 성능을 향상시킨다. 이는 노이즈가 있는 레이블에 대한 학습 속도를 늦춰 기억화(memorization)를 줄이기 때문이다.

ABSTRACT

The early phase of training a deep neural network has a dramatic effect on the local curvature of the loss function. For instance, using a small learning rate does not guarantee stable optimization because the optimization trajectory has a tendency to steer towards regions of the loss surface with increasing local curvature. We ask whether this tendency is connected to the widely observed phenomenon that the choice of the learning rate strongly influences generalization. We first show that stochastic gradient descent (SGD) implicitly penalizes the trace of the Fisher Information Matrix (FIM), a measure of the local curvature, from the start of training. We argue it is an implicit regularizer in SGD by showing that explicitly penalizing the trace of the FIM can significantly improve generalization. We highlight that poor final generalization coincides with the trace of the FIM attaining a large value early in training, to which we refer as catastrophic Fisher explosion. Finally, to gain insight into the regularization effect of penalizing the trace of the FIM, we show that it limits memorization by reducing the learning speed of examples with noisy labels more than that of the examples with clean labels.

연구 동기 및 목표

• 딥 네ural 네트워크에서 최적화의 초기 단계 동역학, 특히 국소 곡률이 최종 일반화 성능에 영향을 미치는지 조사하기.
• 확률적 경사 하강법(Stochastic Gradient Descent, SGD)이 학습 시작 단계부터 피셔 정보 행렬(Fisher Information Matrix, FIM)의 추적을 암묵적으로 정규화하는 역할을 하는지 분석하기.
• FIM 추적의 명시적 정규화가 최적의 학습률 이외의 조건에서 저하된 일반화 성능을 복구할 수 있는지 판단하기.
• FIM 정규화가 청소년 레이블과 노이즈가 있는 레이블에 대한 학습 속도에 미치는 영향을 분석하여, 특히 기억화와의 관련성 파악하기.

제안 방법

• 저자들은 다양한 데이터셋과 아키텍처에서 초기 학습 단계(2–7 에포크) 동안 피셔 정보 행렬(Fisher Information Matrix, FIM)의 추적을 계산한다.
• 다양한 학습률과 배치 크기를 사용한 확률적 경사 하강법(Stochastic Gradient Descent, SGD)을 적용하여 FIM 추적의 변화 양상과 최종 테스트 정확도 간의 상관관계를 관찰한다.
• FIM의 추적에 대한 L2 정규화를 적용한 '피셔 정벌(Fisher penalty)'을 도입하여 일반화 및 기억화에 미치는 영향을 평가한다.
• 다양한 학습률 조건에서의 학습 동역학을 비교하여 높은 초기 FIM 추적은 일반화 성능이 열 劣화됨을 예측함을 보여준다.
• 노이즈가 있는 레이블을 포함한 실험을 수행하여 FIM 정규화가 잘못 레이블링된 예시에 대한 학습 속도를 얼마나 늦추는지 테스트한다.
• 다양한 모델(Wide ResNet, VGG-11, SimpleCNN)과 데이터셋(TinyImageNet, CIFAR-10, CIFAR-100)을 사용해 다양한 설정에서 결과의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 딥 네럴 네트워크에서 초기 단계의 피셔 정보 행렬(Fisher Information Matrix, FIM) 추적의 변화가 최종 일반화 성능과 상관관계가 있는가?
• RQ2 FIM 추적의 명시적 정규화가 최적의 학습률 이외의 조건에서 저하된 일반화 성능을 복구할 수 있는가?
• RQ3 왜 FIM 추적을 정벌하면 노이즈가 있는 레이블 상황에서 일반화 성능이 향상되는가?
• RQ4 SGD가 FIM 추적을 암묵적으로 정규화함으로써 더 큰 학습률이 일반화 성능 향상에 기여하는가?
• RQ5 높은 초기 FIM 추적은 날카로운 최소값으로의 경향과 기억화 증가를 나타내는가?

주요 결과

• 작은 학습률로 학습할 경우 초기 학습 단계에서 FIM 추적이 급격히 증가하며, 이는 최종 일반화 성능이 열 劣화되는 것과 강하게 상관관계가 있다. 이 현상은 '비극적 피셔 폭발(catastrophic Fisher explosion)'으로 명명된다.
• ImageNet, CIFAR-10, CIFAR-100에서 다양한 학습률과 배치 크기 조건에서 초기 학습 단계(2–7 에포크)에 계산된 FIM 추적은 최종 테스트 정확도를 예측하는 데 유의미하게 기여한다.
• FIM 추적을 명시적으로 정벌함으로써 일반화 성능이 크게 향상되며, 최적의 학습률을 사용하는 경우에도 이는 동일하게 적용되며, 작은 학습률로 인해 저하된 성능을 복구할 수 있다.
• 피셔 정벌은 노이즈가 있는 레이블에 대한 학습 속도를 청소년 레이블보다 더 크게 감소시키며, 이는 잘못된 예시에 대한 피팅 속도를 늦춰 기억화를 완화시킨다는 것을 시사한다.
• FIM 추적은 SGD에서 암묵적인 정규화 기능을 수행하며, 높은 초기 FIM 추적은 날카로운 최소값으로의 최적화 경향을 유도하고, 낮은 초기 FIM 추적은 평탄한 최소값을 촉진한다.
• 이 연구는 FIM 정규화가 SGD의 암묵적 편향을 강화하여 노이즈 데이터의 기억화를 억제함으로써 일반화 성능 향상에 기여하는 메커니즘을 경험적이고 이론적으로 입증한다.