[논문 리뷰] The Normalization Method for Alleviating Pathological Sharpness in Wide Neural Networks

Ryo Karakida, Shotaro Akaho외 1명|arXiv (Cornell University)|2019. 06. 07.

Neural Networks and Applications인용 수 15

한 줄 요약

이 논문은 넓은 신경망에서 정규화 방법의 이론적 분석을 제안하며, 손실 경계의 날카움을 측정하기 위해 피셔 정보 행렬(Fisher Information Matrix, FIM)을 사용한다. 넓이와 샘플 크기의 특정 조건 하에서, 마지막 레이어에서의 배치 정규화가 병리학적 날카움(이상하게 큰 FIM 고유값으로 정의됨)을 크게 감소시키는 반면, 은닉 레이어에서의 배치 정규화 또는 레이어 정규화는 이를 감소시키지 못함을 보여준다.

ABSTRACT

Normalization methods play an important role in enhancing the performance of deep learning while their theoretical understandings have been limited. To theoretically elucidate the effectiveness of normalization, we quantify the geometry of the parameter space determined by the Fisher information matrix (FIM), which also corresponds to the local shape of the loss landscape under certain conditions. We analyze deep neural networks with random initialization, which is known to suffer from a pathologically sharp shape of the landscape when the network becomes sufficiently wide. We reveal that batch normalization in the last layer contributes to drastically decreasing such pathological sharpness if the width and sample number satisfy a specific condition. In contrast, it is hard for batch normalization in the middle hidden layers to alleviate pathological sharpness in many settings. We also found that layer normalization cannot alleviate pathological sharpness either. Thus, we can conclude that batch normalization in the last layer significantly contributes to decreasing the sharpness induced by the FIM.

연구 동기 및 목표

• 손실 경계의 기하학을 분석함으로써 정규화 방법이 딥 러닝 성능을 향상시키는 이유를 이론적으로 이해하는 것.
• 넓고 무작위로 초기화된 딥 뉴럴 네트워크에서 배치 정규화와 레이어 정규화가 피셔 정보 행렬(FIM)에 미치는 영향을 조사하는 것.
• 정규화 방법이 FIM의 병리학적으로 큰 고유값을 완화할 수 있는 조건을 규명하는 것. 이는 날카로운 최소값에 해당한다.
• 특히 마지막 레이어와 은닉 레이어에서 적용했을 때 정규화의 기능적 역할의 차이를 명확히 하는 것.

제안 방법

• 무작위 가중치를 가진 넓은 신경망에서 손실 경계의 국소 기하학을 기술하기 위해 피셔 정보 행렬(FIM)을 사용한다.
• 랜덤 매트릭스 이론과 평균장 분석을 적용하여 넓이가 무한해지는 극한 조건에서 FIM의 점근적 표현을 유도한다.
• 가장 큰 FIM 고유값과 관련된 고유공간을 식별하여 병리학적 날카움의 근본 원인을 분리한다.
• 순서 매개변수의 수렴 속도를 유도하여 마지막 레이어에서의 배치 정규화가 날카움을 감소시키는 조건을 확립한다.
• 분석적 유도와 점근적 근사치를 사용하여 마지막 레이어와 은닉 레이어에서의 배치 정규화, 레이어 정규화에 따른 FIM 행동을 비교한다.
• 순서 매개변수에 대한 재귀 관계를 활용하여 반전 FIM을 계산하고, 정규화된 네트워크에서 고유값 통계를 분석한다.

실험 결과

연구 질문

• RQ1 넓은 신경망에서 마지막 레이어의 배치 정규화가 병리학적 날카움을 완화하는 조건은 무엇인가?
• RQ2 실제로 학습 동역학을 향상시키지만, 은닉 레이어에서의 배치 정규화가 날카움을 감소시키지 못하는 이유는 무엇인가?
• RQ3 피셔 정보 행렬(FIM)과 손실 경계 기하학에 대한 영향 측면에서 레이어 정규화는 배치 정규화와 어떻게 비교될 수 있는가?
• RQ4 네트워크의 넓이와 학습 샘플 크기가 FIM 기반 날카움 감소 효과의 효능을 결정하는 데 어떤 역할을 하는가?
• RQ5 정규화의 일반화 및 최적화 이점을 설명하는 데 있어 FIM을 이론적 도구로 사용할 수 있는가?

주요 결과

• 네트워크의 넓이와 샘플 크기가 특정 수렴 조건을 만족할 경우, 마지막 레이어에서의 배치 정규화는 피셔 정보 행렬(FIM)의 가장 큰 고유값을 극적으로 감소시켜 병리학적 날카움을 완화한다.
• 마지막 레이어의 배치 정규화 효과는 순서 매개변수의 수렴 속도에 의존하며, 넓이와 샘플 크기가 적절히 스케일링될 경우 날카움 감소가 발생한다.
• 은닉 레이어에서의 배치 정규화는 대부분의 설정에서 병리학적 날카움을 완화하지 못한다. 이는 네트워크의 계층적 구조로 인해 FIM의 가장 큰 고유값이 여전히 크기 때문이다.
• 레이어 정규화 역시 병리학적 날카움을 감소시키지 못한다. 이 정규화 방식 하에서는 FIM의 가장 큰 고유값이 여전히 완화되지 않는다.
• 출력 유닛 수 C=2일 경우 평균 제거와 분산 정규화의 대칭성으로 인해 FIM이 0이 되며, 이는 일반적인 설정에서는 관련이 없는 특이한 경우이다.
• 실험 결과에 따르면, 마지막 레이어의 배치 정규화로 인한 날카움 감소는 더 큰 학습률로 빠른 수렴을 가능하게 하여 실용적 유용성을 뒷받침한다.