[논문 리뷰] Ten Lessons We Have Learned in the New "Sparseland": A Short Handbook for Sparse Neural Network Researchers

Shiwei Liu, Zhangyang Wang|arXiv (Cornell University)|2023. 02. 06.

Brain Tumor Detection and Classification인용 수 6

한 줄 요약

이 논문은 희소 신경망(SNN) 연구자들을 위한 간결하고 실용적인 안내서를 제공하며, 희소성 유형, 학습 프레임워크, 평가의 공정성에 대한 일반적인 혼동을 명확히 한다. 밀도 대 희소성, 프루닝 대 희소 학습, 정적 대 동적 희소성과 같은 주제에 대해 10개의 핵심 Q&A를 종합하여 재현 가능성 향상과 오해 감소를 위한 표준화된 지침을 제시한다.

ABSTRACT

This article does not propose any novel algorithm or new hardware for sparsity. Instead, it aims to serve the "common good" for the increasingly prosperous Sparse Neural Network (SNN) research community. We attempt to summarize some most common confusions in SNNs, that one may come across in various scenarios such as paper review/rebuttal and talks - many drawn from the authors' own bittersweet experiences! We feel that doing so is meaningful and timely, since the focus of SNN research is notably shifting from traditional pruning to more diverse and profound forms of sparsity before, during, and after training. The intricate relationships between their scopes, assumptions, and approaches lead to misunderstandings, for non-experts or even experts in SNNs. In response, we summarize ten Q\&As of SNNs from many key aspects, including dense vs. sparse, unstructured sparse vs. structured sparse, pruning vs. sparse training, dense-to-sparse training vs. sparse-to-sparse training, static sparsity vs. dynamic sparsity, before-training/during-training vs. post-training sparsity, and many more. We strive to provide proper and generically applicable answers to clarify those confusions to the best extent possible. We hope our summary provides useful general knowledge for people who want to enter and engage with this exciting community; and also provides some "mind of ease" convenience for SNN researchers to explain their work in the right contexts. At the very least (and perhaps as this article's most insignificant target functionality), if you are writing/planning to write a paper or rebuttal in the field of SNNs, we hope some of our answers could help you!

연구 동기 및 목표

• 희소성 유형과 학습 프레임워크 간의 겹치는 용어와 모호한 구분으로 인해 발생하는 SNN 연구 분야의 널리 퍼진 혼동을 해결한다.
• 비구조적 대 구조적 희소성, 밀도에서 희소로 대 희소에서 희소로의 학습, 사전, 동안, 사후 훈련 시기의 희소성과 같은 핵심 개념을 통합하고 접근하기 쉬운 참고자료로 정리한다.
• 기준화된 평가 프로토콜을 통해 다양한 작업, 아키텍처, 설정 간 SNN 알고리즘 비교의 공정성과 엄밀함을 증진시킨다.
• SNN 방법과 그 가정에 대해 맥락에 맞는 설명을 제공함으로써 연구자들이 더 명확한 논문과 반박 논문을 작성하는 데 도움을 준다.
• 단순한 벤치마크를 넘어서 다양한 도전 과제와 하드웨어 인식 메트릭을 도입하여 SNN 성능을 보다 잘 평가할 수 있도록 공동체를 장려한다.

제안 방법

• 희소성 유형(비구조적 대 구조적), 학습 단계(학습 이전, 동안, 이후), 그리고 아키텍처 진화(정적 대 동적)의 주요 축을 따라 SNN 방법을 분류한다.
• 밀도에서 희소로의 학습(예: 반복적 크기 프루닝)과 희소에서 희소로의 학습(예: 동적 희소 학습, 초기화 시 프루닝)을 구분하며, 이들의 다른 가정과 계산 비용을 강조한다.
• 로또 티켓 가설(Lottery Ticket Hypothesis, LTH)과 정적 희소 학습(Static Sparse Training, SST) 간의 관계를 명확히 하며, LTH가 희소 서브넷을 발견하지만 그 구축 과정은 희소에서 희소가 아니라 밀도에서 희소임을 지적한다.
• 기준화된 평가를 지지하기 위해, 기준선 간 비교에 대해 일관된 사전 학습 모델, 하이퍼파라미터, 데이터 증강 기법, 학습 일정을 권장한다.
• CIFAR-10/100 외에도 시각 및 NLP 작업을 포함한 다양한 벤치마크를 사용할 것을 권장하며, 실제 처리량과 지연 시간과 같은 하드웨어 인식 메트릭을 통합한다.
• 통계적 신뢰성과 재현 가능성을 확보하기 위해 결과를 3~5개의 랜덤 시드에서의 표준편차와 함께 보고하는 것이 중요하다.

Figure 1: Neuron Pruning v.s. Weight Pruning on Fully-Connected Networks. The green color indicates being pruned. Neuron pruning results in width decrease while weight pruning results in sparser connection but no change in width .

실험 결과

연구 질문

• RQ1 모델 효율성과 하드웨어 지원 측면에서 비구조적 희소성과 구조적 희소성은 어떻게 다릅니까?
• RQ2 밀도에서 희소로의 학습과 희소에서 희소로의 학습은 무엇으로 다릅니다. 이 차이가 성능과 자원 사용에 왜 중요한가요?
• RQ3 왜 희소에서 희소로의 학습 방법을 직접 LTH와 비교하는 것은 오해의 소지가 있으며, LTH는 평가에서 어떻게 공정하게 위치시켜야 할까요?
• RQ4 SNN 비교에서 주요 혼동 요인은 무엇이며, 벤치마크에서 이를 어떻게 통제할 수 있나요?
• RQ5 연구자들은 다양한 작업과 하드웨어 플랫폼 간에 SNN 알고리즘의 공정하고 의미 있는 평가를 어떻게 확보할 수 있나요?

주요 결과

• LTH는 최종 결과가 학습 가능한 희소 서브넷이지만, 사전 학습과 반복적 프루닝에 의존하므로 밀도에서 희소로의 방법으로 이해하는 것이 가장 적절하다.
• 동적 희소 학습(Dynamic Sparse Training, DST)과 초기화 시 프루닝(Pruning at Initialization, PaI)은 모두 희소에서 희소로의 방법이지만, DST는 학습 중에 희소 마스크를 동적으로 갱신하는 반면, PaI는 초기화 시 고정된 기반 마스크를 사용한다.
• 사전 학습, 하이퍼파라미터, 학습 시간을 통제하지 않은 채 SNN 방법을 비교하면 오해의 소지가 있는 결론을 이끌 수 있으며, 이러한 혼동 변수는 성능에 큰 영향을 미칠 수 있다.
• CIFAR-10/100과 같은 작은 오래된 데이터셋만을 사용해 평가하는 것은 의미 있는 결론을 이끌기에 부족하며, 모든 SNN 방법이 이들에서 유사하게 성능을 내기 때문이다.
• 실제 처리량과 지연 시간과 같은 하드웨어 인식 메트릭은 실용적 효율성을 평가하는 데 필수적이며, 정확도와 FLOPs와 함께 보고되어야 한다.
• 3~5개의 랜덤 시드에서의 표준편차를 포함해 결과를 보고하는 것은 SNN 연구에서 통계적 신뢰성과 재현 가능성을 확보하기 위해 필수적이다.