[논문 리뷰] Asymmetric Valleys: Beyond Sharp and Flat Local Minima

Haowei He, Gao Huang외 1명|arXiv (Cornell University)|2019. 02. 02.

Stochastic Gradient Optimization Techniques참고 문헌 43인용 수 35

한 줄 요약

논문은 손실 지형에서 비대칭 계곡을 도입하고, 평평한 쪽으로 편향된 SGD 해가 일반화에 더 좋음을 증명하며, SGD 평균화(예: SWA)가 이러한 편향 해를 자연스럽게 만들어내고 BN 유닛이 비대칭성에 기여함을 보인다.

ABSTRACT

Despite the non-convex nature of their loss functions, deep neural networks are known to generalize well when optimized with stochastic gradient descent (SGD). Recent work conjectures that SGD with proper configuration is able to find wide and flat local minima, which have been proposed to be associated with good generalization performance. In this paper, we observe that local minima of modern deep networks are more than being flat or sharp. Specifically, at a local minimum there exist many asymmetric directions such that the loss increases abruptly along one side, and slowly along the opposite side--we formally define such minima as asymmetric valleys. Under mild assumptions, we prove that for asymmetric valleys, a solution biased towards the flat side generalizes better than the exact minimizer. Further, we show that simply averaging the weights along the SGD trajectory gives rise to such biased solutions implicitly. This provides a theoretical explanation for the intriguing phenomenon observed by Izmailov et al. (2018). In addition, we empirically find that batch normalization (BN) appears to be a major cause for asymmetric valleys.

연구 동기 및 목표

• 딥 네트에서 평면/예리한 최소값을 넘어서는 비대칭 손실 계곡의 존재를 동기화한다.
• 비대칭 방향과 계곡을 형식적으로 정의하고 현대 아키텍처에서의 보편성을 확립한다.
• 경험적 손실과 모집단 손실 간의 완만한 편차 하에서 평면 쪽으로 편향된 해가 더 나은 일반화 성능을 낸다는 이론적 근거를 제시한다.
• SGD 반복을 평균화하는 방법(예: SWA)이 평면 쪽으로 바람직한 편향을 유도한다는 것을 입증한다.
• 배치 정규화가 비대칭 계곡의 형성에 미치는 역할과 BN 타깃 평균화의 효과를 조사한다.

제안 방법

• 정의 1 및 정의 2로 비대칭 방향과 비대칭 계곡을 정밀하게 정의한다.
• 모집단 손실과 경험적 손실을 연결하는 (δ, R)-시프트 간격을 도입하고 정의 3으로 제시하며 두 가지 가정(랜덤 시프트, 국소적 비대칭성)을 명시한다.
• 이 가정 하에서 평면 쪽으로 편향된 해가 경험적 최소해보다 일반화 성능이 더 좋다는 편향/일반화 정리(정리 1)를 증명한다.
• CIFAR 데이터셋에서 ResNet/ DenseNet의 시프트 간격과 비대칭성에 대한 실험적 검증(Figures 3, 4)을 제공한다.
• SGD 반복의 평균화가 평면 쪽으로 편향된 해를 낳는 경향을 보여주며 이론적 지원(정리 2)과 실험적 확인(Figures 5–9)을 제공한다.
• 실무적으로는 평균화를 통한 결과가 때로는 학습 손실이 더 커짐에도 불구하고 평면 쪽으로의 편향으로 인해 일반화 성능이 개선됨을 보여주는 SWA의 효과(그림 8 및 관련 논의)를 분석한다.
• SWA 및 대/소 배치 효과를 분석하고, 개선된 일반화가 폭 자체보다 비대칭 계곡의 편향에서 기인한다는 점을 명확히 한다(Figures 8–11).
• 비대칭 방향을 만들어내는 배치 정규화의 역할을 살피고 BN 중심 평균화의 이점을 보여준다(섹션 7).

실험 결과

연구 질문

• RQ1 현대의 심층 네트워크가 손실 지형에서 비대칭 계곡을 보이는가?
• RQ2 비대칭 계곡의 평면 쪽으로 편향된 해가 실제 경험적 최소해보다 더 나은 일반화를 보이는가?
• RQ3 SGD 평균화(예: SWA)가 이러한 편향 해를 암시적으로 찾을 수 있는가?
• RQ4 형태에 대한 비대칭성 및 평균화 효과에서 배치 정규화의 역할은 무엇인가?
• RQ5 작은 배치 크기 훈련이나 SWA의 개선이 순수한 평면성/폭이 아닌 평면 방향으로의 편향 때문인가?

주요 결과

• 비대칭 계곡은 CIFAR 데이터셋에서 ResNet 및 DenseNet 같은 현대 네트워크의 손실 지형에 널리 존재한다.
• 비대칭 계곡의 평면 쪽으로 편향된 해는 모집단 손실과 경험적 손실 간의 완만한 시프트 하에서 일반화 성능이 경험적 최소해보다 더 좋다(정리 1).
• 간단한 SGD 궤적의 평균화는 평면 쪽으로 편향된 해를 낳아 일반화 성능을 개선할 수 있는 실제 알고리즘적 경로를 뒷받침한다(정리 2).
• 실무적으로 SGD 반복의 평균화(SWA 등)는 평면 쪽으로 편향된 해를 만들어내고, 때로는 학습 손실이 더 높아져도 테스트 성능이 더 좋게 나타난다(Figure 8 및 관련 논의).
• 배치 정규화는 비대칭 방향 형성에 기여하며 BN 매개변수의 평균화가 특히 효과적일 수 있다(SWA-BN이 SWA-Non-BN보다 BN 활성 네트워크에서 더 우수한 성능을 보임).
• 고차원 지형에서 서로 다른 분지가 비대칭으로 인해 폭이 넓아지거나 얕아 보일 수 있으며, 이는 실제 폭의 차이가 아니라 비대칭성 때문이라는 시각화가 제시된다(섹션 6).