[논문 리뷰] What is the State of Neural Network Pruning?

Davis Blalock, Jose Javier Gonzalez Ortiz외 2명|arXiv (Cornell University)|2020. 03. 06.

Advanced Neural Network Applications참고 문헌 57인용 수 78

한 줄 요약

81편의 논문에 걸친 신경망 가지치기 메타분석은 심각한 벤치마킹 단편화를 드러내고, 가지치기 방법의 표준화된 평가와 공정한 비교를 가능하게 하는 ShrinkBench를 제안한다.

ABSTRACT

Neural network pruning---the task of reducing the size of a network by removing parameters---has been the subject of a great deal of work in recent years. We provide a meta-analysis of the literature, including an overview of approaches to pruning and consistent findings in the literature. After aggregating results across 81 papers and pruning hundreds of models in controlled conditions, our clearest finding is that the community suffers from a lack of standardized benchmarks and metrics. This deficiency is substantial enough that it is hard to compare pruning techniques to one another or determine how much progress the field has made over the past three decades. To address this situation, we identify issues with current practices, suggest concrete remedies, and introduce ShrinkBench, an open-source framework to facilitate standardized evaluations of pruning methods. We use ShrinkBench to compare various pruning techniques and show that its comprehensive evaluation can prevent common pitfalls when comparing pruning methods.

연구 동기 및 목표

• 실용적인 교훈과 일반적인 함정들을 식별하기 위해 신경망 가지치기 문헌을 종합한다.
• 아키텍처, 데이터셋 및 평가 지표 전반에서 가지치기 방법의 비교를 평가한다.
• 가지치기 방법의 표준화되고 공정한 평가를 가능하게 하는 모범 사례와 도구를 권고한다.
• 표준화된 가지치기 연구를 지원하는 구체적인 오픈소스 프레임워크를 제공한다.

제안 방법

• 81편의 가지치기 논문에서 결과를 모아 관행과 발견을 특징화한다.
• 데이터셋/아키텍처 단편화 및 지표 불일치와 같은 일반적인 장애물을 분류한다.
• 가지치기 방법을 위한 표준화된 평가 프레이워크와 지표를 정의한다.
• 표준화된 가지치기 평가를 위한 오픈소스 라이브러리로 ShrinkBench를 소개한다.
• ShrinkBench 벤치마크를 시연하고 표준화된 평가가 오해를 완화하는 방식을 보여준다.

실험 결과

연구 질문

• RQ1 최근 신경망 가지치기 문헌에서 일반적인 관행과 결과는 무엇인가?
• RQ2 벤치마킹 관행이 가지치기 방법 간의 공정한 비교를 어떻게 방해하는가?
• RQ3 재현성과 비교 가능성을 높이는 구체적 치료법과 도구는 무엇인가?
• RQ4 ShrinkBench가 표준화된 평가와 공정한 방법 비교를 어떻게 보장하는가?

주요 결과

• 가지치기로 모델을 상당히 압축하더라도 정확도 손실이 거의 없거나 전혀 없으며, 일부 방법은 작은 압축 수준에서 정확도를 향상시키기도 한다.
• 다수의 방법이 무작위 가지치기보다 우수하며, 파라미터가 고정된 경우 글로벌 가지치기가 층별 가지치기보다 종종 더 효과적이지만 데이터셋/아키텍처에 따라 결과가 다르다.
• 동일 파라미터 수를 가진 희소 모델이 밀집 모델을 능가할 수 있으며, 때로는 원래의 가지치기 없는 모델보다 성능을 낼 수 있다.
• 데이터셋, 아키텍처, 지표의 큰 단편화로 인해 가지치기 방법 간 직접적이고 통제된 비교가 어렵다.
• 대다수의 논문이 제한된 데이터셋/아키텍처 조합에 대한 결과를 보고하고 제한된 작동 포인트를 제공하여 추세 식별을 어렵게 한다.
• 초기 모델 품질, 데이터 증강, 최적화 선택, 가지치기 스케줄, 라이브러리와 같은 혼재 변수들이 결과에 상당한 영향을 미쳐 공정한 비교를 복잡하게 만든다.
• ShrinkBench는 가지치기 평가를 표준화하고 이러한 문제를 완화하기 위한 라이브러리로 제안된다.