[논문 리뷰] Make Sharpness-Aware Minimization Stronger: A Sparsified Perturbation Approach

Peng Mi, Li Shen외 5명|arXiv (Cornell University)|2022. 10. 11.

Advanced Neural Network Applications인용 수 16

한 줄 요약

이 논문은 전체 파라미터 펌프터를 대신해 이진 마스크를 통해 희소 펌프터를 적용하는 더 효율적인 Sharpness-Aware Minimization (SAM)의 변종인 Sparse SAM (SSAM)을 제안한다. Fisher 정보 또는 동적 희소 학습을 통해 펌프터에 영향을 미치는 중요한 파라미터를 식별함으로써, SSAM는 최대 50%의 희소성과 반으로 줄어든 계산 비용으로 SAM과 동일하거나 더 나은 일반화 성능을 달성하며, 동일한 수렴 속도 $O(\log T/\sqrt{T})$ 를 유지한다. 이 방법은 CIFAR-10, CIFAR-100, ImageNet에서 상태의 성능을 기록하며 훈련 오버헤드를 감소시켰다.

ABSTRACT

Deep neural networks often suffer from poor generalization caused by complex and non-convex loss landscapes. One of the popular solutions is Sharpness-Aware Minimization (SAM), which smooths the loss landscape via minimizing the maximized change of training loss when adding a perturbation to the weight. However, we find the indiscriminate perturbation of SAM on all parameters is suboptimal, which also results in excessive computation, i.e., double the overhead of common optimizers like Stochastic Gradient Descent (SGD). In this paper, we propose an efficient and effective training scheme coined as Sparse SAM (SSAM), which achieves sparse perturbation by a binary mask. To obtain the sparse mask, we provide two solutions which are based onFisher information and dynamic sparse training, respectively. In addition, we theoretically prove that SSAM can converge at the same rate as SAM, i.e., $O(\log T/\sqrt{T})$. Sparse SAM not only has the potential for training acceleration but also smooths the loss landscape effectively. Extensive experimental results on CIFAR10, CIFAR100, and ImageNet-1K confirm the superior efficiency of our method to SAM, and the performance is preserved or even better with a perturbation of merely 50% sparsity. Code is availiable at https://github.com/Mi-Peng/Sparse-Sharpness-Aware-Minimization.

연구 동기 및 목표

• 전체 파라미터 펌프터로 인해 훈련 시간이 두 배로 증가하는 Sharpness-Aware Minimization (SAM)의 높은 계산 비용을 해결하기 위해.
• SAM에서 모든 모델 파라미터에 무분별하게 펌프터를 적용하는 것이 필수적이거나 비효율적인지 조사하기 위해.
• 일반화 성능을 유지하면서 계산 오버헤드를 줄이는 희소 펌프터 메커니즘을 개발하기 위해.
• 제안된 방법이 SAM과 동일한 속도로 수렴한다는 이론적 증명을 통해 강건성을 확보하기 위해.
• 다양한 모델과 데이터셋에서 방법을 검증하여 효율성과 성능 향상을 확인하기 위해.

제안 방법

• 학습 가능한 또는 데이터 기반의 이진 마스크를 사용해 모델 파라미터의 일부에만 펌프터를 적용하는 SAM의 변종인 Sparse SAM (SSAM)을 제안한다.
• 두 가지 마스크 생성 전략을 도입한다: SSAM-F는 영향력이 큰 파라미터를 선택하기 위해 Fisher 정보를 사용하며, SSAM-D는 파라미터와 희소성 마스크를 동시에 최적화하는 동적 희소 학습을 사용한다.
• 펌프터를 마스크된 파라미터에만 적용함으로써, 단계당 기울기 계산 수를 줄여 표준 SAM 대비 약 50%의 계산 비용 절감을 달성한다.
• 이중 최적화 프로세스를 사용한다: 첫 번째로 마스크된 부분집합에서 펌프터 방향을 계산하고, 두 번째로 펌프터된 기울기를 사용해 모델을 업데이트한다.
• 이론적 분석을 통해 비볼록 스토하스틱 설정 하에서 SSAM가 SAM과 동일한 수렴 속도 $O(\log T/\sqrt{T})$ 를 확보함을 증명한다.
• 실험에서는 2:4 희소 연산 지원을 사용하지만, 하드웨어 가속은 향후에 의존한다.

실험 결과

연구 질문

• RQ1 SAM에서 전체 파라미터 펌프터가 손실 곡면의 매끄럽기와 일반화에 효과적으로 기여하기 위해 필수적인가?
• RQ2 모든 파라미터가 아닌 일부 파라미터에만 희소 펌프터를 적용하는 것이 전반적인 일반화 성능을 유지하거나 향상시킬 수 있는가?
• RQ3 Fisher 정보 또는 동적 희소성 선택이 무작위 또는 균일한 선택보다 더 효과적이고 효율적인가?
• RQ4 희소 펌프터 하에서 SAM의 수렴 속도를 유지할 수 있는가? 이는 이론적 강건성을 보장한다.
• RQ5 이미지 분류 벤치마크에서 모델 정확도를 훼손하지 않으면서 달성할 수 있는 최대 희소성 수준은 무엇인가?

주요 결과

• CIFAR-10과 CIFAR-100에서 SSAM는 펌프터 마스크의 50% 희소성 조건에서도 SAM과 동일하거나 더 높은 테스트 정확도를 달성한다.
• ResNet18과 WideResNet28-10에서 SSAM는 50% 희소성 조건에서 CIFAR-100에서 SAM을 초월하며, $\rho = 0.1$ 일 때 84.20%의 top-1 정확도를 기록한다.
• SSAM-F는 $N_F = 128$개 샘플로 CIFAR-10에서 96.84%의 정확도를 달성하여 전체 SAM과 유사한 성능을 보였으며, 전체 배치 추정 대비 Fisher 정보 계산 비용을 90% 감소시켰다.
• 제거 실험을 통해 랜덤 또는 날카운 파라미터 기반 마스크가 성능을 떨어뜨리는 것으로 확인되어, Fisher 기반 및 동적 희소성 전략의 효과성을 검증했다.
• 마스크 갱신 빈도는 성능에 큰 영향을 미친다: 더 긴 간격은 정확도를 떨어뜨리며, 이는 빈번한 마스크 갱신이 최적 수렴을 위해 필수적임을 시사한다.
• 동적 마스크 업데이트를 사용한 SSAM-D는 ResNet50를 사용해 ImageNet에서 77.25%의 top-1 정확도를 기록하여 SAM과 동일한 성능를 달성하면서도 계산 부담을 줄였다.