[논문 리뷰] Normalized Flat Minima: Exploring Scale Invariant Definition of Flat Minima for Neural Networks using PAC-Bayesian Analysis

Yusuke Tsuzuku, Issei Sato외 1명|arXiv (Cornell University)|2019. 01. 15.

Gaussian Processes and Bayesian Inference참고 문헌 32인용 수 14

한 줄 요약

이 논문은 PAC-베이지안 분석을 통해 유도된 척도 불변의 손실 곡면 평탄함 측정법인 정규화된 평탄한 최소값을 제안한다. 각 레이어의 스케일링을 고려해 곡률과 파rameter 노름을 재가중함으로써 기존 평탄도 정의의 알려진 척도 의존성을 해결하여 일반화 갭과 91.1%의 상관관계를 달성하였으며, 이는 표준 헤시안 기반 측정법의 70.8%보다 유의미하게 높다.

ABSTRACT

The notion of flat minima has played a key role in the generalization studies of deep learning models. However, existing definitions of the flatness are known to be sensitive to the rescaling of parameters. The issue suggests that the previous definitions of the flatness might not be a good measure of generalization, because generalization is invariant to such rescalings. In this paper, from the PAC-Bayesian perspective, we scrutinize the discussion concerning the flat minima and introduce the notion of normalized flat minima, which is free from the known scale dependence issues. Additionally, we highlight the scale dependence of existing matrix-norm based generalization error bounds similar to the existing flat minima definitions. Our modified notion of the flatness does not suffer from the insufficiency, either, suggesting it might provide better hierarchy in the hypothesis class.

연구 동기 및 목표

• 기존 평탄도 정의의 척도 의존성을 해결하되, 일반화는 이러한 변환에 대해 불변임을 감안하여 파rameter 재스케일링에 대해 불변인 평탄도 정의를 도출한다.
• 기존 일반화 경계와 평탄도 측정법이 동일한 척도 민감성 문제를 애초에 암묵적인 균일한 사전 분산 가정으로 인해 앓고 있음을 규명한다.
• PAC-베이지안 프레임워크에 레이어별 스케일링을 통합하여 척도 불변의 평탄도 측정법을 개발한다.
• 기존 방법이 실패할 수 있는 경우에도 과적합된 모델(예: 랜덤 레이블로 훈련된 모델)을 더 잘 구분할 수 있음을 보여준다.
• 평탄함과 파rameter 스케일을 체계적이고 불변적인 방식으로 통합하는 평탄한 최소값에 대한 이론적 기반을 제공한다.

제안 방법

• 각 레이어의 파arameter 스케일링을 명시적으로 고려하는 PAC-베이지안 경계를 수립하며, 균일한 사전을 스케일 인식 사전으로 대체한다.
• 헤시안의 추적을 파arameter 행렬의 프로베니우스 노름으로 나눈 값의 제곱근으로 정규화된 날카기 정도를 정의하여 행/열 스케일링에 대해 불변성을 확보한다.
• 개별 가중치 행렬과 그들의 행/열에 대한 재스케일링에 대해 불변인 행렬 정규화된 날카기 정도 측정법을 유도한다.
• PAC-베이지안 프레임워크 내에서 정규분포 사전과 사후를 사용하지만, KL 발산 항목을 스케일 정규화를 반영하도록 수정한다.
• 가중치 행렬에 대해 행 및 열 방향으로 정규화를 적용하여 파arameter 재스케일링에 대해 불변성을 확보하면서도 함수 등가성을 유지한다.
• 랜덤 레이블 비율을 다양하게 설정해 훈련한 웨이드 리스넷에서 실험적으로 방법을 검증하며, 일반화 갭과의 상관관계를 기반으로 날카기 정도 측정법을 비교한다.

실험 결과

연구 질문

• RQ1 일반화가 이러한 변환에 대해 불변임을 감안할 때, 파arameter 재스케일링에 대해 불변인 평탄도 측정법을 정의할 수 있는가?
• RQ2 기존 평탄도 정의와 일반화 경계가 파arameter 재스케일링에 의해 영향을 받는 이유는 무엇인가?
• RQ3 PAC-베이지안 프레임워크를 어떻게 확장하여 레이어별 스케일링을 통합함으로써 더 나은 일반화 경계를 확보할 수 있는가?
• RQ4 제안된 정규화된 평탄도 측정법은 기존 헤시안 기반 또는 노름 기반 측정법보다 과적합 모델과 일반화 모델을 더 잘 구분할 수 있는가?
• RQ5 새로운 측정법이 평탄함과 파arameter 스케일을 척도 불변 방식으로 통합함으로써 가설 클래스의 계층을 향상시킬 수 있는가?

주요 결과

• 제안된 정규화된 날카기 정도는 랜덤 레이블을 사용한 CIFAR-10에서 일반화 갭과 91.1%의 상관관계를 보이며, 이는 표준 헤시안 기반 날카기 정도 측정법의 70.8%보다 유의미하게 높다.
• 정규화된 평탄한 최소값 정의는 가중치 행렬의 행 및 열 방향 재스케일링에 대해 불변이며, 이는 이전 정의의 핵심 한계를 해결한다.
• 기존 평탄도 측정법이 실패할 수 있는 상황에서도, 랜덤 레이블로 훈련된 모델과 실제 레이블로 훈련된 모델을 성공적으로 구분한다.
• 분석 결과 기존 행렬 노름 기반 일반화 경계 역시 척도 의존성을 앓고 있음을 규명하였으며, 새로운 프레임워크는 이를 피한다.
• 정규화된 날카기 정도 측정법은 파라미터 분할 및 서로 다른 방식으로 재스케일링하는 등의 재매개변수화에 대해 불변이지만, 피셔-레이오 노름은 그렇지 않다.
• 실험 결과 정규화된 날카기 정도가 단순한 파arameter 수 계산이나 비정규화된 곡률 측정법보다 더 날카롭고 신뢰할 수 있는 일반화의 대체 측정법임을 확인하였다.