[논문 리뷰] Splitting Convolutional Neural Network Structures for Efficient Inference

Emad MalekHosseini, Mohsen Hajabdollahi외 3명|arXiv (Cornell University)|2020. 02. 09.

Advanced Neural Network Applications인용 수 5

한 줄 요약

이 논문은 VGG16과 ResNet18와 같은 딥 컨볼루션 신경망에서 메모리 소비와 계산 비용을 줄이기 위해 새로운 네트워크 구조 분할 기법을 제안한다. 네트워크를 더 작은, 독립적으로 처리 가능한 구성요소로 나누어, 피크 메모리 사용량을 줄이고 메모리 소비와 FLOPs를 낮춘 효율적인 추론을 가능하게 한다. CIFAR-10에서 검증되었으며, 효율성 향상이 명확하게 측정되었다.

ABSTRACT

For convolutional neural networks (CNNs) that have a large volume of input data, memory management becomes a major concern. Memory cost reduction can be an effective way to deal with these problems that can be realized through different techniques such as feature map pruning, input data splitting, etc. Among various methods existing in this area of research, splitting the network structure is an interesting research field, and there are a few works done in this area. In this study, the problem of reducing memory utilization using network structure splitting is addressed. A new technique is proposed to split the network structure into small parts that consume lower memory than the original network. The split parts can be processed almost separately, which provides an essential role for better memory management. The split approach has been tested on two well-known network structures of VGG16 and ResNet18 for the classification of CIFAR10 images. Simulation results show that the splitting method reduces both the number of computational operations as well as the amount of memory consumption.

연구 동기 및 목표

• 큰 입력 데이터를 처리하는 딥 컨볼루션 신경망에서 높은 메모리 소비 문제를 해결하기 위해.
• VGG16과 ResNet18와 같은 최신 모델에서 계산 및 메모리 오버헤드를 줄이기 위해.
• 효율적인 추론을 위한 가능성을 탐색하기 위해 네트워크 구조 분할 기법을 연구하기 위해.
• 메모리 제약 조건 하에서 모델 효율성과 정확도 간의 트레이드오프를 평가하기 위해.

제안 방법

• 피크 메모리 사용량을 줄이기 위해 네트워크를 더 작은 순차적 구성요소로 분할한다.
• 분할은 컨볼루션 및 완전 연결 레이어 전반에 걸쳐 적용되며, 모델의 기능을 유지한다.
• 각 분할 모듈은 순차적으로 처리되어 모든 활성화 맵을 동시에 저장할 필요를 줄인다.
• 분할 과정에서 아키텍처에 최소한의 영향을 주어 모델 정확도를 유지한다.
• 분류 작업을 위해 CIFAR-10을 사용하여 VGG16과 ResNet18에서 방법을 평가한다.
• 기존 네트워크와 분할된 네트워크 구성 간의 비교를 통해 메모리 및 FLOP 감소를 측정한다.

실험 결과

연구 질문

• RQ1 네트워크 구조를 분할함으로써 정확도 저하 없이 메모리 소비를 줄일 수 있는가?
• RQ2 구조적 분할이 CNN 추론 중 FLOPs 수에 어떤 영향을 미치는가?
• RQ3 VGG16과 ResNet18에서 네트워크 분할을 통해 메모리 사용을 얼마나 줄일 수 있는가?
• RQ4 분할된 모듈을 독립적으로 처리할 수 있어 메모리 관리가 향상되는가?

주요 결과

• 제안된 분할 기법은 VGG16과 ResNet18 모두에서 네트워크를 더 작은 순차 처리 가능한 구성요소로 분할함으로써 메모리 소비를 감소시켰다.
• 피크 활성화 저장 용량 감소와 모듈식 처리 덕분에 계산 연산 수(FLOPs)가 감소했다.
• 분할 후에도 CIFAR-10에서의 분류 정확도가 최소한의 저하로 유지되어, 분할 후에도 아키텍처의 무결성이 유지됨을 시사한다.
• 이 방법은 메모리 제약 조건이 있는 환경에서의 구현 가능성을 입증하였다.