[논문 리뷰] Dynamic Neural Network Channel Execution for Efficient Training

Simeon E. Spasov, Píetro Lió|arXiv (Cornell University)|2019. 05. 15.

Advanced Neural Network Applications참고 문헌 34인용 수 4

한 줄 요약

이 논문은 조합적 상한 신뢰도 기반(Combinatorial Upper Confidence Bound, CUCB) 알고리즘을 사용하여 각 학습 단계에서 가장 유의미한 컨volutional 채널만 선택적으로 활성화함으로써 CNN의 학습 및 추론 비용을 줄이는 동적 채널 실행 프레임워크를 제안한다. 이 방법은 정확도 저하를 최소화하면서 최대 4배의 FLOPs 감소와 9배의 파라미터 감소를 달성하여 추가적인 모델 복잡도 없이 컴act 모델을 효율적으로 탐색할 수 있다.

ABSTRACT

Existing methods for reducing the computational burden of neural networks at run-time, such as parameter pruning or dynamic computational path selection, focus solely on improving computational efficiency during inference. On the other hand, in this work, we propose a novel method which reduces the memory footprint and number of computing operations required for training and inference. Our framework efficiently integrates pruning as part of the training procedure by exploring and tracking the relative importance of convolutional channels. At each training step, we select only a subset of highly salient channels to execute according to the combinatorial upper confidence bound algorithm, and run a forward and backward pass only on these activated channels, hence learning their parameters. Consequently, we enable the efficient discovery of compact models. We validate our approach empirically on state-of-the-art CNNs - VGGNet, ResNet and DenseNet, and on several image classification datasets. Results demonstrate our framework for dynamic channel execution reduces computational cost up to 4x and parameter count up to 9x, thus reducing the memory and computational demands for discovering and training compact neural network models.

연구 동기 및 목표

• 자원 제약이 있는 장치에서 깊이 학습된 CNN의 메모리 및 계산 요구량을 줄이는 것.
• 모델 복잡도를 추가하지 않고도 학습 과정 중에 채널 프루닝을 직접 통합하는 것.
• 동적 채널 선택을 통해 컴act하고 파라미터 효율적인 신경망 모델을 효율적으로 탐색하는 것.
• 학습 및 추론 과정에서 정확도를 유지하거나 향상시키면서 모델 복잡도를 최소화하는 것.

제안 방법

• 채널 선택을 탐색과 이용을 균형 잡는 조합적 다중 손실 기반 밴디트 문제로 공식화하여 채널의 중요도를 평가한다.
• 각 학습 단계에서 가장 높은 추정 중요도를 가진 채널의 부분집합을 조합적 상한 신뢰도(CUCB) 알고리즘을 사용해 선택한다.
• 전방 및 역방향 전파 과정에서 활성화되고 실행되는 것은 오직 선택된 채널들 뿐이며, 이로 인해 메모리 사용량과 FLOP 수치가 감소한다.
• 채널 중요도는 위치나 연결성과는 별개로 네트워크 성능에 기여하는 상대적 기여도에 기반해 추적된다.
• 유의미한 채널을 식별한 후 네트워크 토폴로지가 고정되고 선택된 채널들이 정밀 조정된다.
• 기존의 동적 추론 방법과 달리 게이팅을 위한 추가 파라미터를 도입하지 않는다.

실험 결과

연구 질문

• RQ1 학습 중에 동적 채널 선택을 적용함으로써 정확도를 손상시키지 않고 계산 비용과 메모리 사용량을 크게 줄일 수 있는가?
• RQ2 학습 과정에 프루닝을 통합함으로써 컴act CNN의 효율성과 성능에 어떤 영향을 미치는가?
• RQ3 채널 선택에 CUCB를 사용할 경우 무작위 또는 히우리스틱 기반 선택 전략보다 우월한가?
• RQ4 이미지 분류 작업에서 기준 성능을 유지하면서 파라미터 수와 FLOPs를 어느 정도까지 줄일 수 있는가?

주요 결과

• SVHN 및 CIFAR-10에서 30%의 활성 채널로 학습한 ResNet-50은 FLOPs 4배 이상 감소, 파라미터 수 3배 감소를 달성했으며 정확도 저하가 최소 수준이었다.
• CIFAR-10에서 최고 성능을 낸 VGG 모델은 70~90%의 활성 채널로 파라미터 수 2배 감소를 달성했다.
• 매우 컴팩트한 모델(30~40% 활성 채널)의 경우 파라미터 수 감소율이 3~7배, FLOPs 감소율이 2~5배에 달했으며, CIFAR-10 및 SVHN에서 기준 모델과 유사한 정확도를 확보했다.
• ResNet-50은 CIFAR-10 및 SVHN에서 최대 9배의 파라미터 감소를 달성했으며 기준 수준의 성능 유지를 유지했다.
• CIFAR-100에서는 30~40% 활성 채널 모델에서 정확도가 2~3% 감소했으며, 이는 100개 클래스 분류에 더 높은 능력이 필요함을 시사한다.
• CUCB 기반 채널 선택은 특히 낮은 채널 비율에서 랜덤 선택보다 뛰어난 성능을 보였으며, 활성 채널 수가 감소할수록 성능 격차가 더욱 벌어졌다.