[논문 리뷰] How Not to Give a FLOP: Combining Regularization and Pruning for Efficient Inference

Tai Vu, Emily Wen외 1명|arXiv (Cornell University)|2020. 03. 30.

Image Enhancement Techniques참고 문헌 31인용 수 4

한 줄 요약

이 논문은 ResNet 아키텍처에서 미크서프 및 컷아웃 정규화를 소프트 필터 프루닝과 조합하여 추론 효율성을 높이고 FLOPs를 동시에 감소시키는 방법을 제안한다. 정확도를 훼손하지 않은 채로, 이 조합은 기준 모델 대비 최대 14.8%의 FLOPs 감소와 최대 2.03%의 정확도 향상을 달성하며, 개별적으로 적용했을 때보다 우수한 성능을 보인다.

ABSTRACT

The challenge of speeding up deep learning models during the deployment phase has been a large, expensive bottleneck in the modern tech industry. In this paper, we examine the use of both regularization and pruning for reduced computational complexity and more efficient inference in Deep Neural Networks (DNNs). In particular, we apply mixup and cutout regularizations and soft filter pruning to the ResNet architecture, focusing on minimizing floating-point operations (FLOPs). Furthermore, by using regularization in conjunction with network pruning, we show that such a combination makes a substantial improvement over each of the two techniques individually.

연구 동기 및 목표

• 자원 제약이 있는 장치에서 추론 과정에서의 딥 네URAL 네트워크의 계산 비효율성 문제를 해결하기 위해.
• 정규화와 프루닝이 경쟁적으로 작용하는 것이 아니라 상호보완적으로 작용할 수 있는지 조사하기 위해.
• 이전 연구에서 거의 다루지 않은 분야인 정규화가 계산 비용에 미치는 영향을 평가하기 위해.
• 정확도의 감소를 최소화하면서도 상당한 FLOPs 감소를 달성하여 DNN의 효율적 배포를 가능하게 하기 위해.
• 정규화와 프루닝의 조합이 개별적으로 적용했을 때보다 더 높은 성능을 낼 수 있음을 검증하기 위해.

제안 방법

• 일반화와 강건성을 향상시키기 위해 훈련 중에 미크서프 및 컷아웃 정규화를 적용하였다.
• 낮은 크기의 컨볼루션 필터를 제거하여 파라미터 수와 FLOPs를 줄이기 위해 소프트 필터 프루닝을 사용하였다.
• CIFAR-10에서 ResNet 아키텍처(20, 32, 44, 56, 110)를 사용하여 정규화와 프루닝을 병합해 훈련하였다.
• 매 계층당 10%의 필터만 유지하는 0.9의 프루닝 비율을 설정하여 상당한 FLOPs 감소를 달성하였다.
• FLOPs와 정확도를 지표로 하여 제어군, 정규화 전용, 프루닝 전용, 병합 모델 간 성능을 비교하였다.
• 표준 벤치마크에서 모델을 평가하여 계산 비용과 정확도 사이의 트레이드오프를 측정하였다.

실험 결과

연구 질문

• RQ1 미크서프 및 컷아웃과 같은 정규화 기법은 추론 과정에서 계산 복잡도를 줄일 수 있는가, 아니면 오버헤드를 유발하는가?
• RQ2 정규화와 프루닝을 병합하면 개별적으로 적용했을 때보다 더 높은 성능을 낼 수 있는가?
• RQ3 소프트 필터 프루닝은 정확도를 떨어뜨리지 않으면서 ResNet 아키텍처에서 FLOPs를 어느 정도 감소시킬 수 있는가?
• RQ4 다양한 프루닝 비율이 정규화와 프루닝 간의 상호보완적 상호작용에 어떤 영향을 미치는가?
• RQ5 병합된 방법은 FLOPs 수치를 크게 줄이면서도 정확도를 유지하거나 향상시킬 수 있는가?

주요 결과

• 미크서프와 프루닝의 조합은 ResNet-56에서 최대 1.31%의 정확도 향상과 함께 14.7%의 FLOPs 감소를 달성하였다.
• 컷아웃과 프루닝의 조합은 ResNet-56에서 최대 2.03%의 정확도 향상과 함께 14.7%의 FLOPs 감소를 기록하였다.
• 소프트 필터 프루닝은 0.9의 프루닝 비율 조건에서도 모든 ResNet 크기에서 약 15%의 FLOPs 감소를 기록하였다.
• 정규화와 프루닝을 모두 적용한 모델는 프루닝 전용 모델보다 더 높은 정확도를 달성하여 상호보완적 작용을 입증하였다.
• 병합된 방법은 정규화 전용 모델 대비 약 15%의 FLOPs 감소를 이룩하였고, 정확도는 유지되거나 약간 향상되었다.
• 결과적으로 정규화와 프루닝을 효과적으로 조합함으로써 DNN 추론의 효율성과 정확도를 동시에 향상시킬 수 있음을 검증하였다.