[논문 리뷰] N2NSkip: Learning Highly Sparse Networks using Neuron-to-Neuron Skip Connections

Arvind R. Subramaniam, Avinash Sharma|arXiv (Cornell University)|2022. 08. 07.

Domain Adaptation and Few-Shot Learning인용 수 13

한 줄 요약

이 논문은 초기화 시 희소이고 학습 가능한 뉴런 간 스킵 연결을 추가함으로써 정점이 제거된 딥 네ural 네트워크의 연결성과 성능을 향상시키는 N2NSkip를 제안한다. 이는 특히 높은 희소성 수준에서 뚜렷한 성능 향상을 이룬다. 이 방법은 표준 프루닝 및 전통적인 스킵 연결보다 뛰어나며, 전체 네트워크에 비해 연결성 손실가 최소화되어 열역학적 확산 기반 연결성 분석을 통해 검증되었다.

ABSTRACT

The over-parametrized nature of Deep Neural Networks leads to considerable hindrances during deployment on low-end devices with time and space constraints. Network pruning strategies that sparsify DNNs using iterative prune-train schemes are often computationally expensive. As a result, techniques that prune at initialization, prior to training, have become increasingly popular. In this work, we propose neuron-to-neuron skip connections, which act as sparse weighted skip connections, to enhance the overall connectivity of pruned DNNs. Following a preliminary pruning step, N2NSkip connections are randomly added between individual neurons/channels of the pruned network, while maintaining the overall sparsity of the network. We demonstrate that introducing N2NSkip connections in pruned networks enables significantly superior performance, especially at high sparsity levels, as compared to pruned networks without N2NSkip connections. Additionally, we present a heat diffusion-based connectivity analysis to quantitatively determine the connectivity of the pruned network with respect to the reference network. We evaluate the efficacy of our approach on two different preliminary pruning methods which prune at initialization, and consistently obtain superior performance by exploiting the enhanced connectivity resulting from N2NSkip connections.

연구 동기 및 목표

• 초기화 시 프루닝된 딥 네ural 네트워크에서 낮은 연결성과 악화된 수렴 성능 문제를 해결하기 위해, 이는 희소 연결성으로 인해 성능 저하가 발생하기 때문이다.
• 모델의 밀도를 증가시키지 않고도, 비연속적인 뉴런 간에 희소이고 학습 가능한 스킵 연결을 도입함으로써 프루닝된 네트워크의 효과적 연결성을 향상시키기 위해.
• 가중 무방향 그래프 상에서 열 확산을 사용하여 네트워크 연결성을 정량화하는 방법을 개발하여, 프루닝된 네트워크를 기준 네트워크와 비교할 수 있도록 하기 위해.
• N2NSkip의 일반화 능력과 강건성을 다양한 프루닝 방법(예: 랜덤 프루닝, 연결성 민감도 프루닝)과 아키텍처(예: VGG19, ResNet50)에 걸쳐 입증하기 위해.

제안 방법

• N2NSkip는 프루닝된 네트워크 내 개별 뉴런 또는 채널 간에 희소이고 학습 가능한 스킵 연결을 도입하며, 이로 인해 모델의 전체 희소성은 유지된다.
• 이 연결은 랜덤 프루닝 또는 연결성 민감도 프루닝을 사용한 초기 프루닝 단계 이후에 추가되며, 나머지 네트워크와 함께 엔드 투 엔드로 훈련된다.
• 이 방법은 프루닝된 네트워크를 가중치가 있는 무방향 그래프로 모델링하며, 간선 가중치는 학습된 스킵 연결 파라미터에 해당한다.
• 연결성은 열 확산을 통해 정량화되며, 그래프의 인접행렬에서 포화된 열 분포 벡터를 계산하고, 이 벡터와 기준 네트워크의 서명 간의 차이의 프로베니우스 노름을 사용해 연결성 손실을 측정한다.
• 프루닝된 네트워크 간의 열 확산 서명 차이의 프로베니우스 노름은 프루닝된 네트워크 간의 연결성 비교를 위한 메트릭으로 사용된다.
• N2NSkip 연결은 희소 컨볼루션 레이어로 구현되어 효율적인 계산과 파라미터 공유를 가능하게 하며, 희소성은 유지된다.

실험 결과

연구 질문

• RQ1 초기화 시 희소이고 학습 가능한 스킵 연결을 도입함으로써, 극도로 프루닝된 딥 네트워크의 수렴성과 성능을 향상시킬 수 있는가?
• RQ2 열 확산을 통해 측정된 프루닝된 네트워크의 연결성은 전체 기준 네트워크와 비교해 어떻게 되며, N2NSkip는 이 격차를 최소화할 수 있는가?
• RQ3 N2NSkip는 다양한 초기 프루닝 방법(예: 랜덤 프루닝 대비 연결성 민감도 프루닝)과 네트워크 아키텍처에 대해 일반화되는가?
• RQ4 고밀도 희소성 수준에서 N2NSkip의 성능은 전통적인 스킵 연결(예: ResNet 스타일)과 비교해 테스트 정확도와 연결성 측면에서 어떻게 되는가?
• RQ5 열 확산 기반 연결성 분석은 프루닝된 모델의 성능 예측을 위한 신뢰할 수 있는 대체 지표가 될 수 있는가?

주요 결과

• CIFAR-10과 CIFAR-100에서 N2NSkip-CSP와 N2NSkip-RP는 20% 밀도에서 기준 대비 최대 2.1% 향상된 테스트 정확도를 기록했으며, 특히 고희소성에서 가장 큰 성과를 보였다.
• ImageNet에서 ResNet50를 사용한 결과, N2NSkip-CSP는 50% 밀도에서 74.59%의 Top-1 정확도를 기록했으며, 기준 ResNet50(74.70%)와 N2NSkip-RP 변형(74.12%)을 모두 초월했다.
• ImageNet에서 20% 밀도일 경우, N2NSkip-CSP는 72.09%의 정확도를 기록했으며, 기준 CSP(68.67%)와 N2NSkip-RP(70.03%)를 크게 앞서는 성과를 보였다.
• 프루닝된 네트워크와 기준 네트워크 간 열 확산 서명 차이의 프로베니우스 노름이 N2NSkip 변종에서 최소화되어, 뛰어난 연결성 유지 능력을 나타낸다.
• VGG19에서 N2NSkip-RP는 20배 압축 시 연결성 이탈(프로베니우스 노름)을 3.6×10⁻³에서 2.8×10⁻⁶로 감소시켜 강력한 연결성 유지 능력을 입증했다.
• CIFAR-10과 CIFAR-100에서 모든 압축 비율에서 N2NSkip는 ResNet 스타일 스킵 연결(ResSkip)보다 항상 낮은 테스트 오차를 기록했으며, 특히 20배 및 50배 압축 시에 두드러진 성능 향상을 보였다.