[논문 리뷰] A Scale Invariant Flatness Measure for Deep Network Minima

Akshay Rangamani, Nam H. Nguyen외 4명|arXiv (Cornell University)|2019. 02. 06.

Stochastic Gradient Optimization Techniques참고 문헌 26인용 수 20

한 줄 요약

이 논문은 양의 동차 활성화를 갖는 네트워크(예: ReLU)에서 매개변수 스케일링에 의해 유도되는 몐드의 몫다양체 구조를 활용하여, 깊은 신경망 최소점에 대한 척도 불변의 평탄도 측정법을 제안한다. 이 방법은 이러한 몫다양체 공간에 리만계량을 구축함으로써 스케일링에 불변인 헤시안 기반의 날카움 측정법을 유도하며, 이 새로운 척도 불변 계량 하에서 대배치 크기 SGD 최소점이 실제로 소배치 크기 최소점보다 더 평탄하다는 것을 확인한다.

ABSTRACT

It has been empirically observed that the flatness of minima obtained from training deep networks seems to correlate with better generalization. However, for deep networks with positively homogeneous activations, most measures of sharpness/flatness are not invariant to rescaling of the network parameters, corresponding to the same function. This means that the measure of flatness/sharpness can be made as small or as large as possible through rescaling, rendering the quantitative measures meaningless. In this paper we show that for deep networks with positively homogenous activations, these rescalings constitute equivalence relations, and that these equivalence relations induce a quotient manifold structure in the parameter space. Using this manifold structure and an appropriate metric, we propose a Hessian-based measure for flatness that is invariant to rescaling. We use this new measure to confirm the proposition that Large-Batch SGD minima are indeed sharper than Small-Batch SGD minima.

연구 동기 및 목표

• 깊은 신경망에서 양의 동차 활성화를 갖는 네트워크에서 매개변수 스케일링을 유지하는 바이어스가 동일한 함수를 유지하지만, 기존의 헤시안 기반 평탄도 측정법이 이러한 스케일링에 대해 불변이 되지 않는 근본적인 문제를 해결하기 위해.
• 스케일링 변환을 매개변수 공간 내의 동치관계로 형식화하여 평탄도의 기하학적 다루기가 가능하도록 하기 위해.
• 스케일링에 따른 기능적 동치를 반영하는 매개변수 공간에 몰드의 몫다양체 구조를 구축하기 위해.
• 헤시안 기반의 척도 불변 날카움 측정법을 정의하기 위해 이 몰드의 몫다양체에 리만계량을 유도하기 위해.
• 새로운 불변 측정법을 사용하여 대배치 크기와 소배치 크기 SGD가 도출한 최소점 간의 상대적 평탄도를 경험적으로 검증하기 위해.

제안 방법

• 논문은 ReLU 네트워크에서 함수를 유지하는 형태의 스케일링 $T_\alpha(\theta) = (\alpha\theta_1, \alpha^{-1}\theta_2)$ 가 존재하며, 이는 매개변수 공간에서 동치관계를 형성함을 밝힌다.
• 이러한 스케일링에 따른 동치류가 $\mathcal{M} = \overline{\mathcal{M}} / \sim$ 의 형태로 몰드의 몫다양체를 이룬다는 것을 증명한다. 여기서 $\overline{\mathcal{M}}$ 은 매개변수 공간의 폐포이다.
• 가중치와 편향 벡터의 옥시몰드 보완을 기술하기 위해 매개변수 공간에서 스티펠 맨포드의 곱으로의 매끄러운 서머ersion을 구축함으로써 몰드의 몫다양체 구조를 정의한다.
• 매개변수 벡터의 옥시몰드 분해를 이용해 몰드의 몫다양체에 리만계량을 유도함으로써, 잘 정의된 헤시안 기반 평탄도 측정법을 가능하게 한다.
• 최종적으로 유도된 평탄도 측정법은 몰드의 몫다양체에 투영된 헤시안의 노름으로 정의되며, 스케일링에 대해 불변성을 확보한다.
• 이 방법은 대배치 크기와 소배치 크기 SGD가 도출한 최소점 간의 평탄도를 비교하는 데 적용되며, 새로운 측정법을 통해 상대적 평탄도를 평가한다.

실험 결과

연구 질문

• RQ1 양의 동차 활성화를 갖는 깊은 네트워크에서 동일한 함수를 유지하는 스케일링에 대해 불변인 헤시안 기반 평탄도 측정법을 만들 수 있는가?
• RQ2 이러한 네트워크의 매개변수 공간은 스케일링에 의해 유도된 기능적 동치에 대해 몰드의 몫다양체 구조를 갖는가?
• RQ3 제안된 척도 불변 평탄도 측정법은 대배치 크기와 소배치 크기 SGD가 도출한 최소점을 구분할 수 있는가?
• RQ4 기존의 날카움 측정법에서 단순한 스케일링으로 인해 임의로 변화시킬 수 있는 모호성을 새로운 측정법이 해결할 수 있는가?
• RQ5 새로운 측정법은 대배치 크기 SGD가 소배치 크기 SGD보다 더 날카운 최소점으로 수렴한다는 경험적 직관을 확인할 수 있는가?

주요 결과

• 제안된 평탄도 측정법은 네트워크 함수를 유지하는 스케일링에 대해 불변이며, 이는 이전의 헤시안 기반 측정법의 핵심 한계를 해결한다.
• 양의 동차 활성화를 갖는 깊은 신경망의 매개변수 공간은 스케일링에 의해 유도된 동치관계 하에서 잘 정의된 몰드의 몫다양체 구조를 갖는다.
• 새로운 측정법은 대배치 크기 SGD가 도출한 최소점이 소배치 크기 SGD가 도출한 최소점보다 상당히 더 평탄하다는 것을 확인하며, 평탄한 최소점의 일반화 가설을 지지한다.
• 몰드의 몫다양체 구조는 매개변수 공간에서 스티펠 맨포드로의 서머ersion에 기반하며, 이는 동치관계가 닫혀 있고 몰드의 몫다양체가 임베디드 부분다양체임을 증명한다.
• 평탄도 측정법은 몰드의 몫다양체에 투영된 헤시안에서 유도되며, 기하학적 일관성과 불변성을 보장한다.
• 이 방법은 기존의 날카움 측정법에 대해 수학적으로 엄밀하고 정량적으로 의미 있는 대안을 제공한다.