[논문 리뷰] Structural Pruning in Deep Neural Networks: A Small-World Approach

Gokul Krishnan, Xiaocong Du외 1명|arXiv (Cornell University)|2019. 11. 11.

Advanced Neural Network Applications참고 문헌 23인용 수 5

한 줄 요약

이 논문은 학습 이전에 깊은 신경망을 소월 구조(Small-World)로 변환하는 구조적 프루닝 방법을 제안한다. 높은 클러스터링과 낮은 특성 경로 길이를 통해 국소적으로 조밀하고 전반적으로 흩어진 아키텍처를 달성한다. 초기화 단계에서 소월 성질을 강제 적용함으로써, LeNet-5(MNIST)의 모델 파라미터를 2.3%로 줄이고, VGG-16(CIFAR-10)는 9.02%로 줄여 높은 정확도를 유지하면서 하드웨어 구현에 필요한 메모리와 상호연결 비용을 크게 낮춘다.

ABSTRACT

Deep Neural Networks (DNNs) are usually over-parameterized, causing excessive memory and interconnection cost on the hardware platform. Existing pruning approaches remove secondary parameters at the end of training to reduce the model size; but without exploiting the intrinsic network property, they still require the full interconnection to prepare the network. Inspired by the observation that brain networks follow the Small-World model, we propose a novel structural pruning scheme, which includes (1) hierarchically trimming the network into a Small-World model before training, (2) training the network for a given dataset, and (3) optimizing the network for accuracy. The new scheme effectively reduces both the model size and the interconnection needed before training, achieving a locally clustered and globally sparse model. We demonstrate our approach on LeNet-5 for MNIST and VGG-16 for CIFAR-10, decreasing the number of parameters to 2.3% and 9.02% of the baseline model, respectively.

연구 동기 및 목표

• 하드웨어 플랫폼에서 메모리 및 상호연결 비용을 증가시키는 DNN의 과도한 파라미터화와 구조적 부족성 문제를 해결하기 위해.
• 학습 이전에 소월 네트워크 성질—높은 클러스터링과 낮은 경로 길이—를 활용하여 모델 크기와 상호연결 비용을 줄이기 위해.
• 국소적으로 조밀하고 전반적으로 흩어진 연결성을 가진 구조적이고 희박한 DNN 아키텍처를 만들어 하드웨어 구현을 효율적으로 가능하게 하기 위해.
• 기존 프루닝 방법보다 더 높은 모델 압축을 달성하면서 기준 정확도를 유지하거나 이를 충족시키기 위해.

제안 방법

• 기존에 학습된 DNN을 네트워크 구조 특성에 기반해 확률 $ p $ 로 무작위 재연결을 도입함으로써 소월 네트워크로 변환하는 것으로 시작한다.
• 소월 구조는 학습 이전에 강제 적용되어 높은 클러스터링 계수(C)와 낮은 특성 경로 길이(L)를 확보하여 뇌 네트워크의 효율성을 모방한다.
• 이 희박하고 클러스터링된 초기화 상태에서 네트워크를 학습하며, 프루닝은 구조적 제약과 파라미터 중요도에 의해 안내된다.
• 최종 모델은 정확도 최적화를 위해 최적화되어, 극단적인 파라미터 감소에도 불구하고 높은 성능을 유지한다.
• 층별 상호연결 밀도 분석 결과, 특성 상관관계와 클러스터링으로 인해 상위 층에서는 기준 대비 20% 이하, 하위 층에서는 40–60%의 밀도를 유지한다.
• 정확도 평가를 통해 랜덤성 파rameter $ p $ 를 조정하여 희박성과 성능 사이의 최적 균형을 찾는다.

실험 결과

연구 질문

• RQ1 학습 이전에 소월 네트워크 구조를 DNN에 효과적으로 적용하여 모델 크기와 상호연결 비용을 줄일 수 있는가?
• RQ2 초기화 단계에서 소월 성질(높은 C, 낮은 L)을 강제 적용할 경우 모델 정확도와 파라미터 효율성에 어떤 영향을 미치는가?
• RQ3 소월 구조 기반의 사전 학습 프루닝이 기존의 사후 학습 프루닝보다 파라미터 감소와 하드웨어 효율성 측면에서 뛰어나게 되는가?
• RQ4 DNN에서 희박성을 극대화하면서도 높은 정확도를 유지하기 위한 최적의 랜덤성 수준($ p $)은 무엇인가?
• RQ5 소월 구조를 가진 DNN에서 층별 상호연결 밀도는 어떻게 변화하는가? 이는 하드웨어 설계에 어떤 함의를 갖는가?

주요 결과

• MNIST에서 LeNet-5의 경우 소월 모델이 기준 대비 파라미터를 2.3%로 줄여 97.7%의 압축을 달성했으며, [4]와 같은 이전 방법보다 파라미터 효율성이 뛰어나다.
• CIFAR-10에서 VGG-16의 경우 파라미터를 90.8% 감소시켜 3.74M(기준 41.5M)로 줄였고, 93.24%의 정확도를 유지하며 [5]를 초월하는 압축 효율성을 확보했다.
• 최적의 랜덤성 파rameter $ p $ 는 LeNet-5의 경우 0.001, VGG-16의 경우 0.0001로 확인되어 희박성과 정확도 사이의 균형을 잘 유지한다.
• 층별 분석 결과, 더 강한 특성 상관관계로 인해 하위 층은 더 높은 상호연결 밀도(40–60%)를 유지하는 반면, 상위 층은 더 희박해지며(≤20%)는 경향을 보였다.
• 소월 접근법은 국소적으로 조밀하고 전반적으로 흩어진 아키텍처를 생성하여, 메모리와 상호연결 오버헤드를 줄인 효율적인 하드웨어 매핑을 가능하게 했다.
• 기준 모델과 비교해 유사하거나 더 높은 정확도를 달성하면서 모델 크기를 극적으로 줄여, 네트워크 구조의 위상 기반 구조적 프루닝의 효과성을 입증했다.