[논문 리뷰] Modeling of Pruning Techniques for Deep Neural Networks Simplification

Morteza Mousa Pasandi, Mohsen Hajabdollahi외 2명|arXiv (Cornell University)|2020. 01. 13.

Generative Adversarial Networks and Image Synthesis참고 문헌 29인용 수 16

한 줄 요약

이 논문은 깊이 신경망에서의 프루닝 기법을 통합하는 통합 일반 모델을 제안한다. 연결, 채널, 필터 프루닝 방법을 통합함으로써, 프루닝을 구조적 최적화 문제로 공식화함으로써 다양한 아키텍처와 응용 분야에서 모델 복잡도, 정확도, 효율성 간의 트레이드오프를 체계적으로 분석할 수 있다.

ABSTRACT

Convolutional Neural Networks (CNNs) suffer from different issues, such as computational complexity and the number of parameters. In recent years pruning techniques are employed to reduce the number of operations and model size in CNNs. Different pruning methods are proposed, which are based on pruning the connections, channels, and filters. Various techniques and tricks accompany pruning methods, and there is not a unifying framework to model all the pruning methods. In this paper pruning methods are investigated, and a general model which is contained the majority of pruning techniques is proposed. The advantages and disadvantages of the pruning methods can be identified, and all of them can be summarized under this model. The final goal of this model is to provide a general approach for all of the pruning methods with different structures and applications.

연구 동기 및 목표

• 깊이 신경망에서 다양한 프루닝 기법을 모델링할 수 있는 통합 프레임워크의 부재를 해결한다.
• 체계적인 프루닝을 통해 합성곱 신경망(CNNs)의 계산 복잡도와 모델 크기를 감소시킨다.
• 다양한 구조와 응용 분야 간의 프루닝 방법을 비교하고 분석할 수 있도록 한다.
• 기존의 대부분의 프루닝 기법을 하나의 형식론에 통합할 수 있는 일반화 가능한 접근 방식을 제공한다.
• 프루닝 방법론을 표준화하여 실세계 배포에 적합한 효율적이고 경량의 모델 설계를 지원한다.

제안 방법

• 연결, 채널, 필터 프루닝을 추상화하는 프루닝을 구조적 최적화 문제로 공식화한다.
• 다양한 레이어와 네트워크 구성 요소에서 프루닝 연산을 매개변수화하는 일반적인 수학적 프레임워크를 도입한다.
• 네트워크 가중치, 필터 또는 채널에 대한 희소성 유도 변환으로서 프루닝을 모델링한다.
• 계층적 추상화를 사용하여 다양한 해상도에서 프루닝을 표현한다: 개별 연결, 전체 필터, 채널 수준의 단위.
• 정확도를 유지하기 위해 학습 및 피지테이닝 절차를 모델에 통합한다.
• 프루닝 중에 희소성, 정확도, 계산 효율성의 균형을 이루는 통합 손실 함수를 정의한다.

실험 결과

연구 질문

• RQ1 기존의 프루닝 기법—연결, 채널, 필터 프루닝—을 어떻게 단일 모델 아래에서 공식적으로 통합할 수 있는가?
• RQ2 모델 성능과 효율성에 영향을 주는 프루닝 방법 간의 주요 구조적 및 기능적 차이는 무엇인가?
• RQ3 모든 주요 프루닝 기법을 일관되고 확장 가능한 방식으로 모델링하고 비교할 수 있는 일반 프레임워크를 설계할 수 있는가?
• RQ4 제안된 모델은 모델 크기, 추론 속도, 정확도 간의 트레이드오프 분석을 어떻게 지원하는가?
• RQ5 이 모델은 다양한 CNN 아키텍처와 실세계 배포 시나리오에 얼마나 널리 적용될 수 있는가?

주요 결과

• 제안된 모델은 연결, 채널, 필터 프루닝 기법을 효과적으로 일반화하여 공통적인 형식론을 제공한다.
• 프레임워크를 통해 프루닝 방법 간의 체계적 비교가 가능해져 상대적 장점과 한계를 드러낸다.
• 모델 단순화 전략을 향상시키기 위해 프루닝 기법들이 하나의 통합된 구조 아래에서 분석되고 최적화될 수 있다.
• 정확도를 유지하면서도 학습, 프루닝, 피지테이닝을 포함한 엔드 투 엔드 프루닝 워크플로우를 지원한다.
• 미래의 신경망 압축 및 효율성 연구를 위한 확장 가능하고 유연한 기반을 제공한다.
• 통합 모델은 자원 제약 환경에서의 효율적이고 경량의 CNN 설계를 촉진한다.