[논문 리뷰] Positively Scale-Invariant Flatness of ReLU Neural Networks

Mingyang Yi, Qi Meng외 3명|arXiv (Cornell University)|2019. 03. 06.

Advanced Neural Network Applications참고 문헌 20인용 수 11

한 줄 요약

이 논문은 ReLU 신경망을 위한 양의 척도불변성(PSI) 기반의 평탄도 측정법인 PSI-flatness를 제안한다. 이는 기존 평탄도 정의가 ReLU 뉴런의 양의 동차성 특성을 반영하지 못하는 한계를 보완한다. 저자들은 이론적으로 PSI-flatness와 일반화 간의 관계를 PAC-Bayes 경계를 통해 연결하고, 실험적으로 더 낮은 PSI-flatness를 가진 최소값일수록 더 잘 일반화됨을 입증한다. 이는 기저 경로 공간에서의 손실 곡면 시각화를 통해 확인된다.

ABSTRACT

It was empirically confirmed by Keskar et al.\cite{SharpMinima} that flatter minima generalize better. However, for the popular ReLU network, sharp minimum can also generalize well \cite{SharpMinimacan}. The conclusion demonstrates that the existing definitions of flatness fail to account for the complex geometry of ReLU neural networks because they can't cover the Positively Scale-Invariant (PSI) property of ReLU network. In this paper, we formalize the PSI causes problem of existing definitions of flatness and propose a new description of flatness - \emph{PSI-flatness}. PSI-flatness is defined on the values of basis paths \cite{GSGD} instead of weights. Values of basis paths have been shown to be the PSI-variables and can sufficiently represent the ReLU neural networks which ensure the PSI property of PSI-flatness. Then we study the relation between PSI-flatness and generalization theoretically and empirically. First, we formulate a generalization bound based on PSI-flatness which shows generalization error decreasing with the ratio between the largest basis path value and the smallest basis path value. That is to say, the minimum with balanced values of basis paths will more likely to be flatter and generalize better. Finally. we visualize the PSI-flatness of loss surface around two learned models which indicates the minimum with smaller PSI-flatness can indeed generalize better.

연구 동기 및 목표

• 기존 평탄도 정의가 ReLU 네트워크의 정의상 문제를 야기하는 점(즉, 네트워크의 양의 척도불변성(PSI) 성질을 반영하지 못함)을 해결하기 위해.
• 네트워크 가중치의 양의 스케일링 변환에 대해 불변인 새로운 평탄도 측정법—PSI-flatness—를 체계화하기 위해.
• PAC-Bayes 일반화 경계를 활용하여 PSI-flatness와 일반화 오차 간의 이론적 연결 고리를 구축하기 위해.
• 기저 경로 공간에서의 손실 곡면 시각화를 통해 낮은 PSI-flatness가 더 잘 일반화됨을 실험적으로 검증하기 위해.

제안 방법

• 기저 경로 값—ReLU 네트워크 내 모든 경로의 최대 선형독립 부분집합—을 사용하여 PSI-flatness를 정의한다. 이 값들은 PSI-변수임이 증명되어 있으므로.
• 기존 가중치 공간에서의 평탄도 정의에 대응하는 세 가지 변형을 제안한다. 그러나 이는 기저 경로 값으로 재표현되어 척도불변성을 보장한다.
• 기저 경로 값의 최대값과 최소값의 비율에 의존하는 PAC-Bayes 일반화 경계를 유도한다. 이는 균형 잡힌 기저 경로 값이 일반화 오차를 감소시킴을 보여준다.
• 손실 평가 중 시각화를 위해 Meng 등 [16]의 스케letal 방법을 사용하여 기저 경로 공간에서의 변형을 가중치 공간으로 다시 투영한다.
• 기저 경로 공간에서 두 개의 무작위 방향으로 변형을 샘플링하고, 투영된 가중치를 사용해 순전파를 수행하여 손실 곡면을 기저 경로 공간에서 시각화한다.
• 다른 SGD 배치 크기(128 vs. 2048)로 훈련된 두 모델을 비교하여 일반화 성능가 다름(테스트 정확도 87.78% vs. 86.3%)인 최소값을 확보한다.

실험 결과

연구 질문

• RQ1 ReLU 네트워크의 양의 척도불변성 특성을 고려할 때, 기존 평탄도 정의가 일반화 행동을 충분히 캡처할 수 있는가?
• RQ2 ReLU 네트워크 가중치의 양의 스케일링 변환에 대해 불변인 평탄도 측정법이 존재하는가?
• RQ3 기저 경로 값의 최대값과 최소값의 비율이 낮을수록 ReLU 네트워크에서 일반화 성능이 향상되는가?
• RQ4 기저 경로 공간에서의 손실 곡면 시각화는 더 평탄하고 잘 일반화되는 최소값을 드러낼 수 있는가?

주요 결과

• 제안된 PSI-flatness 측정법은 양의 스케일링 변환에 대해 불변이므로, 전통적인 가중치 공간 평탄도 정의보다 ReLU 네트워크에 더 적합한 측정법이다.
• PAC-Bayes 일반화 경계는 기저 경로 값의 최대값과 최소값의 비율이 낮을수록 일반화 오차가 감소함을 보여주며, 이는 균형 잡힌 기저 경로 값이 더 평탄하고 잘 일반화되는 최소값을 이끌어냄을 시사한다.
• 기저 경로 공간에서의 손실 곡면 시각화 결과, 더 작은 배치 크기로 훈련된 모델(테스트 정확도 87.78%)은 PSI-flatness 기준으로 더 평탄한 골짜기에 위치한 반면, 더 큰 배치 크기로 훈련된 모델(86.3% 정확도)은 더 날카로운 영역에 위치해 있음을 확인했다.
• 시각화 결과는 PSI-flatness가 가중치 공간 평탄도보다 일반화 행동을 더 잘 캡처함을 확인한다. 후자는 동일한 방식으로 일반화 성능을 구분하지 못한다.
• 본 연구는 기저 경로 값이 ReLU 네트워크 손실 곡면 기하학 분석을 위한 효과적인 PSI-변수임을 입증한다.