[논문 리뷰] Adaptive Sharpness-Aware Pruning for Robust Sparse Networks

Anna Bair, Hongxu Yin외 3명|arXiv (Cornell University)|2023. 06. 25.

Energy Efficient Wireless Sensor NetworksComputer Science인용 수 3

한 줄 요약

AdaSAP는 적응형 가중치 편향과 날카움 정규화를 통해 손실 곡면의 평탄함을 최적화하여 모델의 강건성과 희소성 모두를 향상시키는 삼단계 프루닝 프레임워크를 제안한다. 이는 다양한 아키텍처와 희소성 수준에서 ImageNet-C에서 최대 +6%의 강건성 정확도 향상을, 손상된 VOC 데이터셋에서는 +4% 향상을 달성하며 최신 기술(SOTA) 수준의 성능을 기록한다.

ABSTRACT

Robustness and compactness are two essential attributes of deep learning models that are deployed in the real world. The goals of robustness and compactness may seem to be at odds, since robustness requires generalization across domains, while the process of compression exploits specificity in one domain. We introduce Adaptive Sharpness-Aware Pruning (AdaSAP), which unifies these goals through the lens of network sharpness. The AdaSAP method produces sparse networks that are robust to input variations which are unseen at training time. We achieve this by strategically incorporating weight perturbations in order to optimize the loss landscape. This allows the model to be both primed for pruning and regularized for improved robustness. AdaSAP improves the robust accuracy of pruned models on image classification by up to +6% on ImageNet C and +4% on ImageNet V2, and on object detection by +4% on a corrupted Pascal VOC dataset, over a wide range of compression ratios, pruning criteria, and network architectures, outperforming recent pruning art by large margins.

연구 동기 및 목표

• 분포 이탈과 오염에 대한 강건성과 모델의 압축성을 동시에 최적화하는 데 도전하는 열린 문제를 해결하기 위해.
• 희소성과 강건성을 손실 곡면의 평탄함이라는 관점에서 통합하여, 압축과 일반화 사이의 상충관계를 피하기 위해.
• 특히 고수준의 희소성 비율에서도 분포 이탈과 이미지 오염에 강건한 높은 성능을 유지할 수 있는 프루닝 방법을 개발하기 위해.
• 평탄한 최소값 기반 최적화가 프루닝을 위한 준비와 동시에 분포 외 입력에 대한 강건성을 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 낮은 중요도의 뉴런 제거 시 성능 저하를 최소화하기 위해, 프루닝될 가능성이 높은 영역에서 더 평탄한 최소값을 유도하기 위해 미세조정 중 적응형 가중치 편향을 적용한다.
• 적응형 편향 이후에 구조적 프루닝 단계를 적용하며, 크기 또는 타일러 근사와 같은 중요도 기준(예: 센서리티 기준)을 사용해 불필요한 채널을 식별하고 제거한다.
• 프루닝 이후, 모든 레이어에 동일한 날카움 페널티를 적용하여 미세조정함으로써 더 평탄한 손실 곡면과 향상된 강건한 일반화를 유도한다.
• 제한된 가중치 편향에 대한 손실 증가의 최대값을 기반으로 한 날카움 정규화 항을 포함하는 수정된 손실 함수를 사용한다. 이는 $\max_{\|\epsilon\|_{2}\leq\rho}L_{S}(w+\epsilon)-L_{S}(w)$로 정의된다.
• 이 방법은 다양한 프루닝 기준과 네트워크 아키텍처(예: ResNet50, MobileNet V1/V2, SSD512)에 대해 호환되며, 분류 및 검출 작업 모두에 적용 가능하다.
• 이 방법은 특정 프루닝 기준에 종속되지 않도록 설계되어 있어, 크기, 타일러, 또는 기타 중요도 지표와의 통합이 가능하다.

실험 결과

연구 질문

• RQ1 통합 최적화 전략이 모델의 희소성과 분포 이탈 및 이미지 오염에 대한 강건성 향상에 동시에 기여할 수 있는가?
• RQ2 학습 중 적응형 가중치 편향이 더 평탄한 최소값을 유도하여 프루닝과 분포 외 입력에 대한 내성을 향상시키는가?
• RQ3 프루닝 이후 날카움 정규화가 정확도를 희생시키지 않고 강건한 일반화를 얼마나 향상시킬 수 있는가?
• RQ4 고수준의 희소성 비율과 다양한 데이터 오염 조건에서 AdaSAP은 최신 기술 대비 어떻게 비교되는가?

주요 결과

• 고수준의 희소성 비율에서 AdaSAP는 SOTA 프루닝 방법 대비 ImageNet-C에서 +6%의 강건성 정확도 향상을 기록했으며, ImageNet-V2와 손상된 VOC 데이터셋에서도 +4% 향상되었다.
• 80% 프루닝 비율에서 AdaSAP는 크기 기반 프루닝을 사용해 ImageNet-C에서 37.30%의 강건성 정확도를 달성했으며, 다음으로 우수한 방법보다 3.33% 높은 성능을 보였다.
• 손실 곡면의 날카움 측정치로 측정했을 때, AdaSAP는 프루닝 전후 모두 더 평탄한 손실 곡면을 유지한다. 프루닝 전 값은 0.037, 프루닝 후 값은 0.039로, 기준 방법보다 일관되게 더 평탄하다.
• 세 개의 랜덤 시드에 대한 신뢰구간 분석 결과, AdaSAP는 안정적인 성능을 보였으며, 23% 프루닝 비율에서 78.23±0.06%의 정상 검증 정확도를 달성하여 기준 방법보다 뚜렷이 뛰어났다.
• AdaSAP는 다양한 프루닝 기준에서 뛰어난 유연성과 효과를 보이며, 타일러 프루닝과 함께 SGD를 사용한 경우를 포함해 크기 기반 프루닝보다 뛰어난 성능을 기록했고, 타일러 기반 프루닝과도 유사하거나 슈퍼리어한 성능을 달성했다.
• 이 방법은 다양한 설정에서 최신 기술 수준의 성능을 달성했다. 분류 및 검출 두 가지 작업, 네 가지 네트워크, 두 가지 프루닝 파라다임(파라미터 기반 및 지연 기반), 그리고 25%에서 80%까지의 희소성 비율을 포함한다.