[논문 리뷰] Smallify: Learning Network Size while Training

Guillaume Leclerc, Manasi Vartak외 3명|arXiv (Cornell University)|2018. 06. 10.

Machine Learning and Data Classification참고 문헌 19인용 수 9

한 줄 요약

Smallify는 학습 중에 신경망 크기, 추론 속도, 정확도를 함께 최적화하는 새로운 기법을 제안한다. 이 기법은 학습 중에 중요한 뉴런이 아닌 뉴런을 동적으로 제거하기 위해 학습 가능한 SwitchLayer를 사용한다. 이로 인해 표준 학습 대비 최대 35배 작고 6배 빠른 모델을 얻을 수 있으며, 정확도 손실는 최소한이다.

ABSTRACT

As neural networks become widely deployed in different applications and on different hardware, it has become increasingly important to optimize inference time and model size along with model accuracy. Most current techniques optimize model size, model accuracy and inference time in different stages, resulting in suboptimal results and computational inefficiency. In this work, we propose a new technique called Smallify that optimizes all three of these metrics at the same time. Specifically we present a new method to simultaneously optimize network size and model performance by neuron-level pruning during training. Neuron-level pruning not only produces much smaller networks but also produces dense weight matrices that are amenable to efficient inference. By applying our technique to convolutional as well as fully connected models, we show that Smallify can reduce network size by 35X with a 6X improvement in inference time with similar accuracy as models found by traditional training techniques.

연구 동기 및 목표

• 모델 크기, 추론 속도, 정확도를 별도로 최적화함으로써 발생하는 비최적의 상호보완적 관계를 해결하기 위해.
• 희소 행렬 연산으로 인해 추론 속도가 떨어지는 후처리 압축 기법의 한계를 극복하기 위해.
• 단일 학습 과정에서 네트워크 아키텍처, 정확도, 효율성을 종합적으로 최적화할 수 있도록 하기 위해.
• 학습 후에 큰 모델을 압축하는 대신, 처음부터 작고 고성능의 아키텍처를 탐색할 수 있도록 하기 위해.

제안 방법

• 학습 중에 뉴런을 켜거나 끄는 것을 학습하는 SwitchLayer를 도입하여 동적 네트워크 크기 조정을 가능하게 한다.
• 뉴런 중요도와 모델 성능을 동시에 최적화하기 위해 미분 가능한 게이팅 메커니즘을 사용한다.
• 뉴런 수준의 제거를 위해 뉴런에 대한 이진 마스크(켜짐/꺼짐)를 학습함으로써, 제거 후에도 조밀한 가중치 행렬을 유지한다.
• 그룹 LASSO 정규화의 완화된 형태를 사용하여 뉴런 활성화 패턴의 희소성을 유도한다.
• 추론 전에 SwitchLayer를 제거하여 런타임 오버헤드가 발생하지 않도록 한다.
• 네트워크 크기를 단일 하이퍼파rameter로 간주하여 아키텍처 탐색을 단순화한다.

실험 결과

연구 질문

• RQ1 모델 정확도와 추론 효율성과 함께 네트워크 크기를 학습 중에 공동 최적화할 수 있는가, 후처리 단계에서가 아니라?
• RQ2 학습 중에 뉴런을 동적으로 제거하면 표준 학습 및 후처리 압축 대비 더 작고, 더 빠르고, 더 정확한 모델을 얻을 수 있는가?
• RQ3 결과로 도출된 모델이 GPU에서 효율적인 추론을 보장하기 위해 조밀한 가중치 행렬을 유지할 수 있는가?
• RQ4 기존의 압축 기법과 비교했을 때, 모델 크기, 속도, 정확도 측면에서 제안된 방법은 어떠한가?
• RQ5 제안된 방법과 그룹 LASSO 정규화 간의 이론적 관계는 무엇인가?

주요 결과

• Smallify는 표준 학습 대비 모델 크기를 최대 35배 줄이고 추론 속도를 최대 6배 향상시키며, CIFAR-10에서 정확도 손실가 1%에 그친다.
• CIFAR-10에서 Smallify는 표준 학습 모델과 동일한 정확도를 달성하면서도 네트워크 크기를 2.2배 줄였다.
• 제거 후에도 조밀한 가중치 행렬을 생성하여, 기존의 희소 모델과 달리 GPU에서 효율적인 추론을 보장한다.
• 제안된 방법은 완화된 그룹 LASSO 공식과 이론적으로 동일하며, 파rameter의 부호 대칭성으로 인해 다수의 전역 최소값을 가진다.
• SwitchLayer는 추론 전에 안전하게 제거할 수 있으며, 런타임 비용을 추가하지 않는다.
• 이 방법은 학습 후 압축의 한계를 피하기 위해 처음부터 작고 고성능의 아키텍처를 탐색할 수 있도록 한다.