[논문 리뷰] Neural Network Distiller: A Python Package For DNN Compression Research

Neta Zmora, Guy Jacob외 3명|arXiv (Cornell University)|2019. 10. 27.

Computational Physics and Python Applications참고 문헌 39인용 수 52

한 줄 요약

본 논문은 Neural Network Distiller를 소개합니다. PyTorch 기반의 오픈 소스 Python 패키지로, DNN 압축 알고리즘 라이브러리, 스케줄링 도구 및 실험과 모델 압축 연구 확장을 쉽게 할 수 있는 튜토리얼을 제공합니다.

ABSTRACT

This paper presents the philosophy, design and feature-set of Neural Network Distiller, an open-source Python package for DNN compression research. Distiller is a library of DNN compression algorithms implementations, with tools, tutorials and sample applications for various learning tasks. Its target users are both engineers and researchers, and the rich content is complemented by a design-for-extensibility to facilitate new research. Distiller is open-source and is available on Github at https://github.com/NervanaSystems/distiller.

연구 동기 및 목표

• 에지 디바이스 추론을 위한 표준화되고 재현 가능한 DNN 압축 연구의 필요성을 동기 부여합니다.
• 연구자와 엔지니어를 위한 확장 가능하고 사용하기 쉬운 압축 알고리즘 및 도구 모음 라이브러리를 제공합니다.
• 스케줄링 시스템과 YAML 구성을 통해 훈련과 압축을 교차시켜 빠른 실험을 가능하게 합니다.

제안 방법

• Python/PyTorch 프레임워크 내에서 핵심 압축 빌딩 블록(프루닝, 양자화, 규제)을 구현합니다.
• 추가 기술들(저랭크 분해, 조건부 계산, 지식 증류, 자동화된 압축) 및 기존 모델/데이터셋과의 통합을 제공합니다.
• 사용자가 정의한 일정에 따라 훈련과 압축을 교차시키기 위한 YAML 기반 레시피 파서를 갖춘 압축-스케줄링 서브시스템을 도입합니다.
• 실험 및 배포 워크플로우를 지원하기 위한 로깅, 체크포인트, 데이터 로딩, 모델 요약 및 ONNX 내보내기 용 유틸리티를 제공합니다.
• Torchvision 및 Cadene의 모델을 사용하여 이미지 분류, 추천 시스템, NLP, 객체 탐지 등 다양한 작업에의 적용 가능성을 보여주며, 새로운 모델/작업에 대한 확장성을 쉽게 제공합니다.

실험 결과

연구 질문

• RQ1 연구자들이 동일한 실험 조건(데이터셋, 전처리, 하이퍼파라미터, 실행 환경)에서 DNN 압축 방법을 테스트하고 비교할 수 있는 방법은 무엇인가?
• RQ2 압축 방법을 훈련과 효과적으로 교차시켜 반복적 프루닝, 양자화 또는 다른 압축을 달성할 수 있는 방법은 무엇인가?
• RQ3 Distiller가 압축 방법의 혼합(예: 양자화와 프루닝)을 지원하고 새로운 아이디어를 시제품화할 수 있는 유연한 프레임워크를 제공할 수 있는가?
• RQ4 빠른 연구 시제품 제작과 지식 공유를 위한 Distiller의 스케줄링 및 유틸리티의 범위와 실용성은 무엇인가?

주요 결과

• Distiller는 프루닝, 양자화, 규제 등 광범위한 압축 방법과 관련 기법(저랭크, 증류)을 하나의 라이브러리로 통합합니다.
• 훈련과 압축 반복을 프로그래밍 방식으로 또는 구성 파일을 통해 제어하는 압축-스케줄링 서브시스템과 YAML 기반 구성을 제공합니다.
• 도구 키트는 PyTorch, Torchvision 모델 및 Cadene 모델과의 쉬운 통합을 위해 설계되었으며, 연구 가속화를 위한 튜토리얼, 노트북 및 문서를 포함합니다.
• Distiller는 이미지 분류, 추천 시스템, NLP, 객체 탐지 등 다중 작업을 지원하여 도메인 전반에 걸친 다재다능함을 보여줍니다.
• 저자는 FP32 연산으로 INT8을 시뮬레이션하는 등의 현재 한계와 출시 버전에서 ONNX/Glow 내보내기가 없음을 인정하며, 네이티브 PyTorch 양자화와의 정합을 계획하고 있습니다.