[논문 리뷰] Neural Network Compression Via Sparse Optimization

Tianyi Chen, Bo Ji외 5명|arXiv (Cornell University)|2020. 11. 10.

Advanced Neural Network Applications참고 문헌 32인용 수 6

한 줄 요약

이 논문은 OBProx-SG 알고리즘을 통한 희소 최적화를 활용한 새로운 신경망 압축 프레임워크를 제안하여 정확도 저하를 최소화하면서도 높은 FLOPs 감소를 달성한다. 학습 중에 희소성 신호를 반복적으로 활용함으로써, CIFAR10에서 VGG16에 대해 최대 7.2×의 FLOPs 감소와 ImageNet에서 ResNet50에 대해 2.9×의 FLOPs 감소를 달성하였으며, 각각 상위-1 정확도가 91.2%와 75.1%를 유지한다.

ABSTRACT

The compression of deep neural networks (DNNs) to reduce inference cost becomes increasingly important to meet realistic deployment requirements of various applications. There have been a significant amount of work regarding network compression, while most of them are heuristic rule-based or typically not friendly to be incorporated into varying scenarios. On the other hand, sparse optimization yielding sparse solutions naturally fits the compression requirement, but due to the limited study of sparse optimization in stochastic learning, its extension and application onto model compression is rarely well explored. In this work, we propose a model compression framework based on the recent progress on sparse stochastic optimization. Compared to existing model compression techniques, our method is effective and requires fewer extra engineering efforts to incorporate with varying applications, and has been numerically demonstrated on benchmark compression tasks. Particularly, we achieve up to 7.2 and 2.9 times FLOPs reduction with the same level of evaluation accuracy on VGG16 for CIFAR10 and ResNet50 for ImageNet compared to the baseline heavy models, respectively.

연구 동기 및 목표

• 모바일 및 클라우드 배포를 위한 딥 뉴럴 네트워크의 추론 비용을 줄이는 데 도전한다.
• 휴리스틱 또는 엔지니어링 중심의 압축 방법의 한계를 극복하기 위해 희소 최적화를 활용한다.
• 최근의 확률적 희소 최적화 분야의 발전을 모델 압축에 적용 가능한지 탐색한다.
• 사용자 간섭을 최소화하면서 자동으로 부용한 필터를 식별하고 제거하는 프레임워크를 개발한다.
• 희소성 인식 학습을 통해 높은 압축 비율을 달성하면서도 모델 정확도를 유지한다.

제안 방법

• 최근의 확률적 희소 최적화 분야에서의 발전인 OBProx-SG 알고리즘을 활용하여 네트워크 가중치에 구조적 희소성을 유도한다.
• 계산된 희소성 신호에 기반해 각 레이어의 희소 비율을 동적으로 조정하는 반복적 교차 스키마를 적용한다.
• ℓ₁-정규화를 적용하여 값이 0인 가중치를 촉진함으로써 부용한 필터의 효과적인 제거를 가능하게 한다.
• 압축 비율에 하한 ε = 0.1을 도입하여 어떤 레이어에서도 과도한 제거를 방지하고 구조적 안정성을 확보한다.
• ResNet50에서 잔차 블록을 원자 단위로 취급하여 제거 과정 중 잔차 연결을 유지한다.
• 미래 작업으로 HSPG를 통한 그룹 희소성 식별을 활용해 전체 부용한 은닉 유닛을 제거한다.

실험 결과

연구 질문

• RQ1 최근의 확률적 희소 최적화 기술이 딥 뉴럴 네트워크 압축에 효과적으로 적용될 수 있는가?
• RQ2 비볼록이고 확률적인 학습 과정에서 희소성 신호를 정확히 식별하고 활용할 수 있는가?
• RQ3 휴리스틱 또는 규칙 기반의 제거 기법과 비교해 희소 최적화 기반 방법이 뛰어난 FLOPs 감소를 달성할 수 있는가?
• RQ4 희소성 기반 제거를 통해 극단적인 압축을 가정할 때 모델 정확도를 얼마나 잘 유지할 수 있는가?
• RQ5 다양한 아키텍처인 VGG16과 ResNet50에서 다양한 벤치마크에서 제안된 방법이 어떻게 스케일링되는가?

주요 결과

• 제안된 RSP 방법은 CIFAR10에서 VGG16에 대해 7.2×의 FLOPs 감소를 달성하면서도 상위-1 정확도 91.2%를 유지하여 기준 모델을 초월한다.
• ImageNet에서 ResNet50에 대해 RSP는 FLOPs를 2.9× 감소시키며 상위-1 정확도 75.1%를 달성하여 비교된 모든 방법을 뛰어넘는다.
• 이 방법은 극도로 강한 제거를 가정함에도 불구하고 CIFAR10에서 기준 모델 대비 뿐만 아니라 정확도 손실도 최소화하여 뿐다.
• RSP는 RBP 및 ThiNet-50와 같은 최첨단 방법보다 FLOPs 감소와 정확도 유지 측면에서 양측 모두에서 뛰어난 성능을 보인다.
• 휴리스틱 또는 강화 학습 기반 접근 방식에 비해 더 적은 엔지니어링 노력이 필요하며 다양한 응용 분야에 더 잘 적응된다.
• 희소성 인식 최적화의 사용은 크기 기반 또는 순위 기반 제거 방법보다 더 효과적인 부용성 제거를 가능하게 한다.