[논문 리뷰] Structured Pruning for Efficient ConvNets via Incremental Regularization

Huan Wang, Qiming Zhang외 2명|arXiv (Cornell University)|2018. 11. 20.

Advanced Neural Network Applications참고 문헌 38인용 수 8

한 줄 요약

이 논문은 구조적 프루닝을 위한 효율적인 ConvNets를 위한 IncReg를 제안한다. IncReg는 중요도가 낮은 가중치 그룹에 대해 점진적으로 정규화 계수를 증가시키는 점진적 정규화를 사용하여, 프루닝 동안 네트워크 적응을 향상시킨다. CIFAR-10 및 ImageNet 벤치마크에서 최고 수준의 정확도와 스피드업 성능를 달성하며, 특히 높은 프루닝 비율과 ResNet-50와 같은 컴팩트한 네트워크에서 뛰어난 성능을 보인다.

ABSTRACT

Parameter pruning is a promising approach for CNN compression and acceleration by eliminating redundant model parameters with tolerable performance loss. Despite its effectiveness, existing regularization-based parameter pruning methods usually drive weights towards zero with large and constant regularization factors, which neglects the fact that the expressiveness of CNNs is fragile and needs a more gentle way of regularization for the networks to adapt during pruning. To solve this problem, we propose a new regularization-based pruning method (named IncReg) to incrementally assign different regularization factors to different weight groups based on their relative importance, whose effectiveness is proved on popular CNNs compared with state-of-the-art methods.

연구 동기 및 목표

• 구조적 프루닝 중에 CNN의 표현력이 취약해지는 문제를 해결하기 위해 갑작스러운 정규화 페널티를 피하기 위해.
• 기존의 그룹 정규화 방법에서 일정한 정규화 계수를 사용함으로써 모든 가중치 그룹에 동일한 중요도를 가정하는 한계를 극복하기 위해.
• 점진적이고 중요도 기반의 정규화를 통해 고비율 프루닝 및 컴팩트한 네트워크에서의 프루닝 성능 향상을 위해.
• 구조적 스파arsity를 통해 높은 정확도를 유지하면서도 빠른 스피드업을 달성하기 위한 방법을 개발하기 위해.
• 가중치 그룹의 중요도에 따라 동적으로 정규화를 조정하여 더 유연하고 안정적인 프루닝 과정을 제공하기 위해.

제안 방법

• 각 가중치 그룹에 대해 정규화 계수 λg를 훈련 반복 동안 점진적으로 증가시키는 점진적 정규화 기법을 도입한다.
• 상대적 중요도 순위에 따라 다른 정규화 증분 Δλg를 할당하기 위해 조각별 선형 페널티 함수를 사용하며, 상위 순위(더 중요한) 그룹은 음수 증분(즉, 정규화 감소)을 받는다.
• 중요도는 반복 동안 시간 평균 L1-노름 순위를 통해 측정되어 프루닝 과정의 안정성을 확보한다.
• 정규화 형태는 웨이트 디케이(즉, L2)이지만, 핵심 혁신은 고정된 전역 λ가 아닌 동적으로 그룹별로 설정된 λg 값에 있다.
• 모든 합성곱 레이어에 동시에 한 번의 프로세스로 프루닝을 수행하며, 가중치의 크기가 1e-6 이하로 떨어지면 제거된다.
• 이 방법은 양자화나 지식 정복과 같은 다른 압축 기법과 수직적(orthogonal)이며, 이를 함께 사용할 수 있다.

실험 결과

연구 질문

• RQ1 일정한 정규화 계수와 비교해 볼 때, 점진적이고 중요도 기반의 정규화가 구조적 프루닝 성능을 향상시키는가?
• RQ2 정규화 계수를 동적으로 조정하는 것이 고비율 프루닝 중, 특히 ResNet-50와 같은 컴팩트 아키텍처에서 네트워크 표현력을 유지하는 데 도움이 되는가?
• RQ3 부드럽고 점진적인 정규화 전략이 구조적 프루닝 중 성능 저하를 줄이면서도 높은 스피드업을 유지하는 데 기여하는가?
• RQ4 제안된 방법은 AFP 및 SPP와 같은 최신 구조적 프루닝 베이스라인과 비교해, 다양한 프루닝 비율에서 정확도와 스피드업 측면에서 어떻게 성능을 내는가?
• RQ5 제안된 방법이 VGG-16 및 ResNet-50와 같은 다양한 네트워크 아키텍처에서 안정적이고 일관된 성능을 유지하는가?

주요 결과

• CIFAR-10에서 IncReg는 행 스파arsity 기준 4.1× 스피드업과 79.2%의 top-5 정확도, 열 스파arsity 기준 4.6× 스피드업과 81.2%의 정확도를 달성하여 AFP 및 SSL을 모두 능가한다.
• 높은 프루닝 비율(9.9× 스피드업)에서 IncReg는 VGG-16에서 76.0%의 top-5 정확도를 기록했으며, AFP(73.4%) 및 SPP(75.2%)를 크게 앞서나간다.
• ResNet-50에서 IncReg는 10.0× 스피드업에서 78.7%의 top-5 정확도를 달성했으며, CP, SPP, AFP를 모두 능가하여 컴팩트 네트워크에서의 효과성을 입증한다.
• VGG-16에서 추론 시간 평가 결과, IncReg는 CPU에서 4.4× 스피드업(409ms)과 GPU에서 2.6× 스피드업(1.991ms)을 기록했으며, 기준 모델 대비 오차 증가율은 0.1%에 불과하다.
• ImageNet에서 5× 스피드업 시 IncReg는 오차 증가율 0.1%를 유지했으며, AFP의 1.5% 및 CP의 1.7%에 비해 정확도 유지 능력이 뛰어나다.
• 점진적 정규화 기법은 중요한 가중치에 대한 초기 정규화 압력을 줄여, 특히 고비율 프루닝 상황에서 네트워크 적응 능력을 향상시킨다.