[논문 리뷰] GNN-RL Compression: Topology-Aware Network Pruning using Multi-stage Graph Embedding and Reinforcement Learning.

Sixing Yu, Arya Mazaheri외 1명|arXiv (Cornell University)|2021. 02. 05.

Advanced Graph Neural Networks참고 문헌 36인용 수 8

한 줄 요약

이 논문은 깊이 신경망(DNN)의 구조적 정보를 추출하기 위해 다단계 그래프 신경망(GNN)을 사용하고, FLOPs 제약 조건 하에서 강화학습(RL)을 적용하여 압축 정책을 최적화하는 구조 인식 채널 프루닝 방법인 GNN-RL Compression을 제안한다. 이 방법은 VGG-16에서 최대 80%의 FLOPs 감소를 달성했으며, ShuffleNet-v1에서 최신 기술 대비 최대 1.84%의 정확도 향상을 이룩했고, 프루닝된 VGG-16에서 추론 속도가 1.38배 향상되고 GPU 메모리 사용량이 141 MB 감소했다.

ABSTRACT

Model compression is an essential technique for deploying deep neural networks (DNNs) on power and memory-constrained resources. However, existing model-compression methods often rely on human expertise and focus on parameters' local importance, ignoring the rich topology information within DNNs. In this paper, we propose a novel multi-stage graph embedding technique based on graph neural networks (GNNs) to identify the DNNs' topology and use reinforcement learning (RL) to find a suitable compression policy. We performed resource-constrained (i.e., FLOPs) channel pruning and compared our approach with state-of-the-art compression methods using over-parameterized DNNs (e.g., ResNet and VGG-16) and mobile-friendly DNNs (e.g., MobileNet and ShuffleNet). We evaluated our method on various models from typical to mobile-friendly networks, such as ResNet family, VGG-16, MobileNet-v1/v2, and ShuffleNet. The results demonstrate that our method can prune dense networks (e.g., VGG-16) by up to 80% of their original FLOPs. More importantly, our method outperformed state-of-the-art methods and achieved a higher accuracy by up to 1.84% for ShuffleNet-v1. Furthermore, following our approach, the pruned VGG-16 achieved a noticeable 1.38$ imes$ speed up and 141 MB GPU memory reduction.

연구 동기 및 목표

• 기존 모델 압축 기법이 DNN의 구조적 토폴로지 무시 및 국소적 파rameter 중요도에 의존하는 한계를 해결하기 위해.
• 깊이 신경망의 전역적 구조적 의존성을 포괄하는 구조 인식 프루닝 프레임워크를 개발하기 위해.
• 강화학습을 사용해 엄격한 FLOPs 제약 조건 하에서 압축 정책을 최적화하기 위해.
• 과다 파ram터화된 모델인 ResNet과 VGG-16부터 모바일 우수성 네트워크인 MobileNet과 ShuffleNet에 이르기까지 다양한 아키텍처에서 방법을 평가하기 위해.
• 자원 제약 조건 하에서 최신 기술 대비 더 높은 정확도와 효율성을 달성하기 위해.

제안 방법

• 딥 네트워크(DNN)의 레이어 간 계층적이고 구조적인 관계를 모델링하기 위해 그래프 신경망(GNN) 기반의 다단계 그래프 임베딩 기법을 사용한다.
• GNN 기반 임베딩은 네트워크 아키텍처의 구조 인식 표현을 캡처하여, 파rameter 크기 외의 구조적 중요도를 더 잘 이해할 수 있도록 한다.
• GNN으로 학습된 구조 임베딩을 기반으로 강화학습(RL) 에이전트가 채널 프루닝 정책을 선택하며, 정확도와 FLOPs 제약 조건을 최적화한다.
• RL 에이전트는 순차적 결정 과정을 수행하며, 각 액션은 목표 FLOPs 예산을 충족시키기 위해 각 레이어에서 특정 채널을 프루닝하는 것을 의미한다.
• 이 방법은 ResNet, VGG-16, MobileNet-v1/v2, ShuffleNet 등 다양한 DNN에 종단 간 적용되며, 구조적 및 성능 피드백에 따라 프루닝이 이뤄진다.
• 학습 파이프라인은 GNN 기반의 구조 인코딩과 RL 기반의 정책 최적화를 통합하여 자동화된 구조 인식 압축을 가능하게 한다.

실험 결과

연구 질문

• RQ1 GNN 기반 접근법이 개선된 프루닝 결정을 위해 깊이 신경망의 구조적 토폴로지를 효과적으로 캡처할 수 있는가?
• RQ2 GNN과 RL을 활용한 구조 인식 프루닝은 기존의 파rameter 중요도 기반 프루닝과 비교해 정확도와 효율성 측면에서 어떻게 다른가?
• RQ3 제안된 방법은 다양한 DNN 아키텍처에서 FLOPs를 얼마나 줄일 수 있으며, 정확도를 유지하거나 향상시킬 수 있는가?
• RQ4 특히 모바일 우수성 모델에서 실용적 배포 환경에서 상당한 속도 향상과 메모리 감소를 달성할 수 있는가?
• RQ5 과다 파ram터화된 아키텍처에서부터 경량 아키텍처에 이르기까지 다양한 네트워크 유형에서 GNN-RL 압축 프레임워크의 탄력성은 어느 정도인가?

주요 결과

• 제안된 방법은 VGG-16에서 최대 80%의 FLOPs 감소를 달성하면서도 높은 정확도를 유지하여, 밀도 높은 네트워크에서 강력한 압축 능력을 입증했다.
• ShuffleNet-v1에서 최신 기술 대비 최대 1.84%의 정확도 향상을 달성하여, 모바일 환경에서의 효과성을 입증했다.
• 프루닝된 VGG-16 모델은 추론 시간에서 1.38배의 속도 향상을 보였고 GPU 메모리 사용량이 141 MB 감소하여 실용적 효율성 향상을 입증했다.
• ResNet, VGG-16, MobileNet-v1/v2, ShuffleNet 등 다양한 아키텍처에 걸쳐 잘 일반화되었으며, 일관된 성능 향상을 보였다.
• GNN를 통한 구조 인식 표현과 RL 기반 정책 학습을 활용해, 기존 기술 대비 모델 크기, 속도, 정확도 간의 더 나은 트레이드오���스를 달성했다.