[논문 리뷰] Detecting Dead Weights and Units in Neural Networks

Utku Evci|arXiv (Cornell University)|2018. 06. 15.

Advanced Neural Network Applications참고 문헌 28인용 수 4

한 줄 요약

이 논문은 손실 변화의 효율적 근사인 평균 치환 점수(Mean Replacement Score, MRS)를 사용하여 신경망 내에서 더 이상 학습에 기여하지 않는 사망 단위(신경망의 뉘앙스)를 탐지하고 제거하는 새로운 방법을 제안한다. 이 방법은 MNIST에서 성능 저하 없이 최대 5배의 모델 크기 감소를 달성하며, 기존의 파라미터 수준의 프루닝보다 단위 수준의 프루닝이 더 우수함을 입증한다.

ABSTRACT

Deep Neural Networks are highly over-parameterized and the size of the neural networks can be reduced significantly after training without any decrease in performance. One can clearly see this phenomenon in a wide range of architectures trained for various problems. Weight/channel pruning, distillation, quantization, matrix factorization are some of the main methods one can use to remove the redundancy to come up with smaller and faster models. This work starts with a short informative chapter, where we motivate the pruning idea and provide the necessary notation. In the second chapter, we compare various saliency scores in the context of parameter pruning. Using the insights obtained from this comparison and stating the problems it brings we motivate why pruning units instead of the individual parameters might be a better idea. We propose some set of definitions to quantify and analyze units that don't learn and create any useful information. We propose an efficient way for detecting dead units and use it to select which units to prune. We get 5x model size reduction through unit-wise pruning on MNIST.

연구 동기 및 목표

• 학습 중 또는 학습 후에 더 이상 학습하지 않으며 유용한 정보를 기여하지 않는 사망 단위—즉, 뉴런을 식별하고 제거하기 위해.
• 개별 파라미터가 아닌 전체 단위를 프루닝하여 모델의 효율성을 향상시키고, 더 컴act하고 빠른 모델을 만들기 위해.
• 비용이 많이 드는 헤시안 행렬 계산 없이도 두 번째 차수에 영향을 받는 효율적인 방법을 개발하여 사망 단위를 탐지하기 위해.
• 파라미터 수준의 프루닝보다 단위 프루닝이 더 나은 압축 성능을 낼 수 있으며, 모델 정확도를 유지할 수 있음을 입증하기 위해.
• MRS 기반의 중요도 점수를 사용하여 단위 및 파라미터 프루닝을 지원하는 실용적이고 오픈소스의 파이토치 기반 라이브러리 제공하기 위해.

제안 방법

• 단위의 출력을 평균으로 대체했을 때의 손실 변화에 대한 첫 번째 차수 근사인 평균 치환 점수(Mean Replacement Score, MRS)를 도입한다.
• 편향 전파를 사용하여 단위 제거가 전체 손실에 미치는 영향을 추정함으로써, 신속하고 정확한 중요도 점수를 제공한다.
• 재학습 없이도 프루닝 효과를 효율적으로 평가할 수 있도록 마스킹 메커니즘을 도입한다.
• MRS를 사용해 손실에 기여하는 정도에 따라 단위를 순위 매기고, 기여도가 낮은 단위를 제거한다.
• 두 단계 프루닝 전략을 구현: 첫 번째로 MRS를 통해 사망 단위를 탐지하고, 두 번째로 미분 가능 마스킹 레이어를 사용해 제거한다.
• 파라미터 수준과 단위 수준의 프루닝을 모두 지원하는 파이토치 라이브러리 `pytorchpruner`를 개발하여 MRS 및 헤시안 기반 점수를 제공한다.

실험 결과

연구 질문

• RQ1 손실 변화의 효율적이고 미분 가능한 근사 방법을 사용해 학습 중 또는 학습 후에 사망 단위를 신뢰성 있게 탐지할 수 있는가?
• RQ2 개별 파라미터가 아닌 전체 단위를 프루닝하는 것이 성능 저하 없이 더 나은 모델 압축을 이끌 수 있는가?
• RQ3 MRS는 기존의 중요도 측정 방법(예: L2 노름, 기울기 크기)보다 비기여 단위를 더 잘 식별할 수 있는가?
• RQ4 고수준 학습률이 단위 사망에 어떤 영향을 미치며, MRS는 이러한 단위를 조기에 탐지할 수 있는가?
• RQ5 MRS 기반의 단위 프루닝은 MNIST 및 CIFAR-10과 같은 표준 비전 벤치마크에서 상당한 모델 압축을 달성할 수 있는가?

주요 결과

• MRS 기반의 단위 프루닝은 MNIST 데이터셋에서 정확도 저하 없이 최대 5배의 모델 크기 감소를 달성했다.
• 높은 학습률이나 활성화 포화(예: ReLU, Tanh)로 인해 사망하는 단위는 MRS를 통해 신뢰성 있게 탐지할 수 있다.
• 특히 더 깊거나 복잡한 네트워크에서 MRS는 노름 기반 중요도 측정 방법보다 비기여 단위를 더 잘 식별했다.
• 기존의 기울기 기반 방법이 실패하는 배치 정규화와 ReLU가 포함된 네트워크에서도 이 방법은 사망 단위를 탐지할 수 있었다.
• 제안된 `pytorchpruner` 라이브러리는 파라미터 및 단위 수준의 전략을 모두 지원하며, 효율적이고 재현 가능한 프루닝을 가능하게 했다.
• MRS 기반의 프루닝은 ReLU 및 Tanh와 같은 다양한 아키텍처와 활성화 함수에서 안정적이고 효과적이었다.