[논문 리뷰] The Geometry of Sign Gradient Descent

Lukas Balles, Fabián Pedregosa외 1명|arXiv (Cornell University)|2020. 02. 19.

3D Shape Modeling and Analysis참고 문헌 26인용 수 8

한 줄 요약

이 논문은 $ι_{\infty}$-smoothness가 분리 가능한 smoothness보다 더 약하고 자연스러운 가정임을 보여줌으로써 sign 기반 최적화 방법을 통합한다. 이는 헤시안의 기하적 성질과 연결되며, 헤시안의 대각선 농도가 높고 평균 대비 최대 고유값이 클 경우 sign 경사수하법이 표준 경사수하법보다 우수함을 보여주며, 딥러닝에서 Adam과 같은 방법의 경험적 성공을 설명한다.

ABSTRACT

Sign-based optimization methods have become popular in machine learning due to their favorable communication cost in distributed optimization and their surprisingly good performance in neural network training. Furthermore, they are closely connected to so-called adaptive gradient methods like Adam. Recent works on signSGD have used a non-standard "separable smoothness" assumption, whereas some older works study sign gradient descent as steepest descent with respect to the $\ell_\infty$-norm. In this work, we unify these existing results by showing a close connection between separable smoothness and $\ell_\infty$-smoothness and argue that the latter is the weaker and more natural assumption. We then proceed to study the smoothness constant with respect to the $\ell_\infty$-norm and thereby isolate geometric properties of the objective function which affect the performance of sign-based methods. In short, we find sign-based methods to be preferable over gradient descent if (i) the Hessian is to some degree concentrated on its diagonal, and (ii) its maximal eigenvalue is much larger than the average eigenvalue. Both properties are common in deep networks.

연구 동기 및 목표

• 분리 가능한 smoothness 가정보다 더 자연스럽고 약한 $ι_{\infty}$-smoothness 가정을 기반으로 기존 sign 기반 최적화 방법의 수렴 분석을 통합하는 것.
• 비표준적인 분리 가능한 smoothness 가정과 $ι_{\infty}$-smoothness 간의 관계를 명확히 하는 것.
• sign 기반 방법이 표준 경사수하법보다 유리한 헤시안의 기하적 성질을 규명하는 것.
• Adam과 signSGD가 딥러닝에서 경험적으로 성공한 이유에 대한 이론적 설명을 제공하는 것.

제안 방법

• 분리 가능한 smoothness 하에서의 수렴 결과가 $L_{\infty} = \sum_i l_i$ 조건 하에서 $ι_{\infty}$-smoothness 하에서도 성립함을 증명함으로써, $ι_{\infty}$-smoothness 가 더 엄격하지 않은 가정임을 입증한다.
• 헤시안의 고유값과 대각선 농도 측면에서 $ι_{\infty}$-smoothness 상수 $L_{\infty}$ 의 기하학적 의미를 분석한다.
• 테일러 정리와 쌍대 노름 항등식을 사용하여 느슨한 smoothness 가정 하에서의 함수 성장도를 유도한다.
• $L_{\infty}$ smoothness 상수를 $ι_{\infty}$-노름의 경사도와 헤시안의 스펙트럼 성질과 연결하여 sign 경사수하법의 수렴 속도를 유도한다.
• 경사도의 부호를 좌표 간에 무작위로 섞거나 평균화하는 경우 Adam이 sign 기반 방법과 유사하게 행동함을 경험적으로 검증하여 이론적 통찰을 뒷받침한다.

실험 결과

연구 질문

• RQ1 $ι_{\infty}$-smoothness 가 sign 기반 방법 분석에 있어 분리 가능한 smoothness 보다 더 약하고 자연스러운 가정인가?
• RQ2 헤시안의 대각선 농도는 sign 경사수하법의 성능에 어떤 영향을 미치는가?
• RQ3 헤시안의 최대 고유값과 평균 고유값의 비율은 sign 기반 방법의 수렴에 어떤 역할을 하는가?
• RQ4 sign 기반 방법과 Adam은 왜 단지 부호 정보만을 사용함에도 불구하고 딥러닝에서 잘 작동하는가?

주요 결과

• $ι_{\infty}$-smoothness 가정은 분리 가능한 smoothness 보다 엄격하지 않으며, $L_{\infty} = \sum_i l_i$ 는 분리 가능한 smoothness 조건을 함의하지만 그 역은 성립하지 않는다.
• 헤시안이 대각선으로 농도가 높을 경우, 즉 대각선 요소 대 비대각선 요소 비율이 클 경우 sign 경사수하법이 표준 경사수하법보다 더 빠르게 수렴한다.
• 헤시안의 최대 고유값이 평균 고유값보다 훨씬 클 경우 sign 기반 방법의 수렴 속도가 크게 향상된다.
• 분석은 Adam이 딥러닝에서 경험적으로 성공한 이유를 설명하며, Adam은 주로 sign 기반 방법으로 행동하며 적응형 학습률은 보조적 역할을 한다.
• sign 경사수하법의 수렴 속도는 $T \leq 18(f_0 - f^*) \max\left(\frac{L^{(0)}}{\varepsilon^2}, \frac{(L^{(1)})^2}{L^{(0)}}\right)$ 로 유계됨을 보이며, 여기서 $L^{(0)}$ 과 $L^{(1)}$ 은 헤시안과 관련된 smoothness 파라미터이다.