[논문 리뷰] Synaptic Strength For Convolutional Neural Network

Lin Chen, Zhao Zhong외 2명|arXiv (Cornell University)|2018. 11. 06.

Advanced Memory and Neural ComputingEngineering인용 수 16

한 줄 요약

이 논문은 컨volutional 신경망에서 개별 피처맵 간 연결의 중요도를 수량화하는 새로운 파라미터인 시냅스 강도를 도입한다. 가중치와 입력을 정규화하고, 이 강도를 프루닝 기준으로 사용함으로써, CIFAR-10에서 정확도 손실이 최소화된 상태로 최대 96%의 연결 프루닝을 달성하며, ImageNet에서 기존 방법들에 비해 정확도 유지 능력과 희박성 효율성 측면에서 뛰어난 성능을 보인다.

ABSTRACT

Convolutional Neural Networks(CNNs) are both computation and memory intensive which hindered their deployment in mobile devices. Inspired by the relevant concept in neural science literature, we propose Synaptic Pruning: a data-driven method to prune connections between input and output feature maps with a newly proposed class of parameters called Synaptic Strength. Synaptic Strength is designed to capture the importance of a connection based on the amount of information it transports. Experiment results show the effectiveness of our approach. On CIFAR-10, we prune connections for various CNN models with up to 96% , which results in significant size reduction and computation saving. Further evaluation on ImageNet demonstrates that synaptic pruning is able to discover efficient models which is competitive to state-of-the-art compact CNNs such as MobileNet-V2 and NasNet-Mobile. Our contribution is summarized as following: (1) We introduce Synaptic Strength, a new class of parameters for CNNs to indicate the importance of each connections. (2) Our approach can prune various CNNs with high compression without compromising accuracy. (3) Further investigation shows, the proposed Synaptic Strength is a better indicator for kernel pruning compared with the previous approach in both empirical result and theoretical analysis.

연구 동기 및 목표

• 모바일 배포를 위한 깊은 CNN의 높은 계산 및 메모리 요구량을 해결하기 위해.
• 생물학적 시냅스 프루닝을 영감으로 삼은 데이터 기반, 종단 간 프루닝 방법을 개발하기 위해.
• CNN 내 연결 중요도를 측정하기 위한 새로운 파라미터인 시냅스 강도를 도입하기 위해.
• 핵 수준의 희박성을 통해 고정확도, 고압축 CNN를 달성하기 위해.
• CIFAR-10과 ImageNet에서의 성능 평가를 통해 기존 프루닝 기법들보다 우월함을 입증하기 위해.

제안 방법

• 시냅스 강도는 정규화된 입력 피처맵 활성화와 커널 가중치의 곱으로 정의되며, 각 연결의 정보 흐름을 반영한다.
• 시냅스 강도의 안정성과 스케일링을 위해 입력 피처와 커널 가중치 양쪽에 배치 정규화와 L2 정규화를 적용한다.
• 엔드 투 엔드 학습 중에 중요도가 낮은 연결의 프루닝을 유도하기 위해 희박성 정규화 항(λ)을 도입한다.
• 낮은 시냅스 강도 값을 가진 커널을 0으로 설정함으로써 핵심 수준의 희박 모델을 생성한다.
• 이 방법은 Winograd 컨볼루션과 호환되며, 희박성을 유지하고 GPU에서 효율적인 추론을 가능하게 한다.
• 제거 분석을 통해 시냅스 강도 공식에서 γ(배치 정규화 스케일)와 커널 L2 정규화의 필요성을 검증한다.

실험 결과

연구 질문

• RQ1 데이터 기반, 생물학적 영감을 받은 프루닝 방법이 기존 방법들보다 더 높은 압축률을 달성할 수 있는가?
• RQ2 기존 방법들인 L1 노름이나 그룹 LASSO에 비해 시냅스 강도가 연결 중요도를 더 정확하게 나타내는가?
• RQ3 핵 수준의 희박한 CNN은 Winograd 컨볼루션을 통해 효율적으로 가속화될 수 있는가?
• RQ4 고프루닝 비율에서 정확도와 희박성의 상호 양조 관계에서 제안된 방법의 성능은 어떠한가?
• RQ5 정규화 구성 요소(γ 및 커널 노름)의 포함이 프루닝 성능 향상에 뚜렷한 기여를 하는가?

주요 결과

• CIFAR-10에서, 이 방법은 정확도 손실 없이 최대 96%의 시냅스 연결을 프루닝하며, 고희박성 수준에서 기존 방법들에 비해 뚜렷이 뛰어난 성능을 보인다.
• 90%의 희박성에서, 제안된 방법은 정확도 손실이 1% 미만이지만, SSL 기반 방법들은 1% 초과의 손실을 보이며, 이는 훨씬 더 뛰어난 내성성을 시사한다.
• ImageNet에서 프루닝된 ResNet-50은 25.32%의 상위-1 오차율과 590만 개의 파라미터를 기록하며, 효율성 측면에서 MobileNet-V2와 NasNet-Mobile을 맞추거나 초월한다.
• Winograd 도메인 프루닝(25%) 대비 8배 높은 희박성(4%)을 달성하면서도 거의 동일한 정확도(6.23% 오차 대비 7.40%)를 유지한다.
• 제거 분석을 통해 γ 요소나 커널 정규화를 제거하면 성능이 떨어지며, 이는 시냅스 강도 설계의 타당성을 검증한다.
• 극단적인 프루닝 비율(예: 97.5%)에서도 높은 정확도를 유지함으로써, 강력한 내성성과 확장성의 가능성을 보여준다.