[논문 리뷰] Keep the Gradients Flowing: Using Gradient Flow to Study Sparse Network Optimization

Kale-ab Tessera, Sara Hooker외 1명|arXiv (Cornell University)|2021. 02. 02.

Stochastic Gradient Optimization Techniques참고 문헌 85인용 수 16

한 줄 요약

이 논문은 더 공정하게 희소 네트워크 최적화를 평가하기 위해 새로운 실험 프레임워크인 동일 용량 희소 대 비희소 비교(SC-SDC)와 정규화된 기울기 흐름 측도인 유효 기울기 흐름(EGF)을 도입한다. 이는 표준 최적화 방법(예: L2 정규화를 사용하는 Adam)이 기울기 흐름을 방해함으로써 희소 네트워크에 악영향을 준다는 것을 발견했으며, 배치정규화, 비희소 활성화 함수(예: Swish), 그리고 신중한 최적화기 선택이 성능 향상에 핵심적이라는 것을 보여준다.

ABSTRACT

Training sparse networks to converge to the same performance as dense neural architectures has proven to be elusive. Recent work suggests that initialization is the key. However, while this direction of research has had some success, focusing on initialization alone appears to be inadequate. In this paper, we take a broader view of training sparse networks and consider the role of regularization, optimization, and architecture choices on sparse models. We propose a simple experimental framework, Same Capacity Sparse vs Dense Comparison (SC-SDC), that allows for a fair comparison of sparse and dense networks. Furthermore, we propose a new measure of gradient flow, Effective Gradient Flow (EGF), that better correlates to performance in sparse networks. Using top-line metrics, SC-SDC and EGF, we show that default choices of optimizers, activation functions and regularizers used for dense networks can disadvantage sparse networks. Based upon these findings, we show that gradient flow in sparse networks can be improved by reconsidering aspects of the architecture design and the training regime. Our work suggests that initialization is only one piece of the puzzle and taking a wider view of tailoring optimization to sparse networks yields promising results.

연구 동기 및 목표

• 최적화 기법의 진전에도 불구하고 희소 네트워크와 비희소 네트워크 사이의 지속적인 성능 격차를 해소하기 위해.
• 일반적으로 비희소 네트워크에서 사용되는 표준 최적화, 정규화 및 아키텍처 선택이 희소 네트워크에 불리한 영향을 미치는지 조사하기 위해.
• 희소 네트워크와 비희소 모델 간의 활성 파라미터 수와 깊이를 동일하게 맞추어, 희소성의 영향을 고립시킬 수 있는 공정한 벤치마킹 프레임워크를 개발하기 위해.
• 기존 기울기 흐름 측도보다 희소 네트워크에서 성능을 더 잘 예측할 수 있는 새로운 측도인 유효 기울기 흐름(EGF)을 도입하기 위해.
• 기울기 흐름을 안정화하고 희소 네트워크 수렴을 향상시키는 아키텍처 및 학습 제도 선택을 안내하기 위해.

제안 방법

• 활성 파라미터 수와 깊이가 동일한 희소 및 비희소 네트워크를 비교하는 제어된 실험 설정인 동일 용량 희소 대 비희소 비교(SC-SDC)를 제안한다.
• 활성 가중치 수를 고려하여 정규화된 기울기 흐름 측도인 유효 기울기 흐름(EGF)을 도입하여, 희소 환경에서 모델 성능과의 상관관계를 향상시킨다.
• 다양한 아키텍처(예: Wide ResNet-50)와 희소화 방법(예: 크기 기반 희소화)을 활용한 대규모 실험을 통해 최적화 방법의 영향을 평가한다.
• 최적화기(Adam, RMSProp), 정규화(L2, 데이터 증강), 정규화(배치정규화), 활성화 함수(ReLU, Swish, PReLU), 가중치 초기화 방법의 영향을 체계적으로 평가한다.
• EGF를 사용하여 희소 네트워크에서 최적화 방법이 기울기 흐름 역학에 미치는 영향을 진단하고 관련성을 분석한다.
• 동적 희소화 및 초기화-희소화 방법을 포함한 다양한 설정에서 결과를 검증하여 일반화 가능성 확보.

실험 결과

연구 질문

• RQ1 일반적으로 비희소 네트워크에서 사용되는 표준 최적화 및 정규화 방법이 희소 네트워크의 학습에 악영향을 미치는가?
• RQ2 희소 네트워크에서의 기울기 흐름은 비희소 네트워크와 어떻게 다를까? 그리고 더 나은 측정이 가능한가?
• RQ3 배치정규화, 활성화 함수, 최적화기 선택과 같은 아키텍처 선택이 희소 네트워크 성능에 얼마나 큰 영향을 미치는가?
• RQ4 공정한 비교 프레임워크(SC-SDC)가 모델 크기와 깊이의 차이에서 희소성의 영향을 고립시킬 수 있는가?
• RQ5 아키텍처 및 학습 제도 조정을 통해 기울기 흐름을 개선하면 희소 네트워크의 수렴 성능이 향상되는가?

주요 결과

• L2 정규화 또는 데이터 증강과 함께 사용될 경우, Adam 및 RMSProp과 같은 표준 최적화기는 희소 네트워크에서 열악한 기울기 흐름을 유도하고 성능을 떨어뜨린다.
• 배치정규화는 희소 네트워크에서 비희소 네트워크보다 훨씬 더 중요하며, 기울기 흐름을 안정화시키고 수렴 가능성을 보장한다.
• 비희소 활성화 함수인 Swish 및 PReLU는 비단조화적이고 적응형 성질을 지녀, 희소 네트워크에서 기울기 흐름을 향상시킨다.
• 유효 기울기 흐름(EGF)은 기존 기울기 흐름 측도보다 희소 네트워크에서 상위 성능(예: 정확도, 손실)을 더 강력하게 예측할 수 있다.
• 희소 네트워크와 비희소 네트워크 사이의 성능 격차는 초기화의 영향만으로 설명되지 않으며, 최적화 및 아키텍처 선택이 결정적인 역할을 한다.
• SC-SDC와 EGF의 발견은 아키텍처(예: Wide ResNet-50)와 희소화 방법(예: 크기 기반 희소화)을 가리지 않고 일반화되며, 통찰의 강건성을 확인한다.