[논문 리뷰] Approximated Oracle Filter Pruning for Destructive CNN Width Optimization

Xiaohan Ding, Guiguang Ding외 3명|arXiv (Cornell University)|2019. 05. 12.

Advanced Neural Network Applications참고 문헌 45인용 수 54

한 줄 요약

AOFP는 이진 탐색을 사용하여 가장 덜 중요한 필터를 선택하는 다중 경로의 학습 시 프루닝 프레임워크를 도입하여 Oracle Pruning을 근사하고, 정확도 손실을 최소화하며 레이어 간 동시 프루닝과 더 빠른 추론을 가능하게 합니다.

ABSTRACT

It is not easy to design and run Convolutional Neural Networks (CNNs) due to: 1) finding the optimal number of filters (i.e., the width) at each layer is tricky, given an architecture; and 2) the computational intensity of CNNs impedes the deployment on computationally limited devices. Oracle Pruning is designed to remove the unimportant filters from a well-trained CNN, which estimates the filters' importance by ablating them in turn and evaluating the model, thus delivers high accuracy but suffers from intolerable time complexity, and requires a given resulting width but cannot automatically find it. To address these problems, we propose Approximated Oracle Filter Pruning (AOFP), which keeps searching for the least important filters in a binary search manner, makes pruning attempts by masking out filters randomly, accumulates the resulting errors, and finetunes the model via a multi-path framework. As AOFP enables simultaneous pruning on multiple layers, we can prune an existing very deep CNN with acceptable time cost, negligible accuracy drop, and no heuristic knowledge, or re-design a model which exerts higher accuracy and faster inference.

연구 동기 및 목표

• CNN의 효율성과 성능을 위한 레이어 너비 선택의 과제를 해결합니다.
• 정확도를 보존하면서 매개변수와 FLOPs를 줄이는 프루닝 방법을 개발합니다.
• 최소한의 시간 비용으로 다층의 동시 프루닝을 가능하게 합니다.
• Destructive CNN Re-design를 위한 설계 워크플로를 제공하여 추론 속도와 정확도를 향상시킵니다.

제안 방법

• 다음 계층의 출력에 대한 애뢰레이션의 영향으로 필터 중요도를 정의합니다(Damage Isolation).
• 다중 경로 학습 시 프레임워크를 사용한 Approximated Oracle Filter Pruning (AOFP)을 도입하여 filters를 임의로 마스킹하고 손상 신호를 누적합니다.
• 각 이동 내에서 가장 덜 중요한 필터를 반복적으로 식별하고 프루닝하기 위해 이진 탐색 방법을 사용합니다.
• 베이스 경로와 스코어링 경로를 활용하여 파인튜닝과 스코어링을 병렬화하고 레이어 간 동시 프루닝을 가능하게 합니다.
• 다음_layer의 출력에 걸친 샘플별 손상을 평균내어 대략적인 중요도 점수를 계산합니다.
• 프루닝의 세부 정도와 손상을 제어하기 위한 정제 임계값 theta로 이동 단위로 프루닝합니다.

실험 결과

연구 질문

• RQ1 AOFP가 Oracle Pruning과 비교했을 때 허용 가능한 시간 비용으로 중요하지 않은 필터를 정확하게 식별할 수 있는가?
• RQ2 동시 다층 프루닝이 깊은 CNN에서 FLOPs와 매개변수를 감소시키면서 정확도를 유지하는가?
• RQ3 이진 탐색 전략이 계층별 수동 조정 없이 프루닝의 세부 정도와 종료 조건을 조정할 수 있는가?
• RQ4 AOFP가 다양한 아키텍처(VGG, ResNet)와 데이터셋(CIFAR-10, ImageNet)에서 기존 프루닝 방법과 비교해 어떤 성능을 보이는가?
• RQ5 AOFP에 의해 안내되는 Destructive CNN Re-design이 주어진 FLOPs 예산에서 더 높은 정확도를 키울 수 있는가?

주요 결과

• AOFP는 Oracle Pruning에 근접한 품질의 필터 중요도 추정을 시간 비용을 크게 줄인 채 달성합니다.
• AOFP는 다층에 걸쳐 동시 프루닝을 가능하게 하며 VGG 및 ResNet과 같은 CNN에서 상당한 FLOPs 및 매개변수 감소를 초래하고 정확도 손실은 미미합니다.
• AOFP에 의해 안내되는 Destructive CNN Re-design은 레이어 간 너비 재할당으로 정확도와 속도를 개선할 수 있습니다(예: 더 많거나 적은 필터가 이득인 레이어).
• CIFAR-10 및 ImageNet에서 다른 프루닝 방법과 비교해 강력한 압축을 보이며 Top-1/Top-5 정확도가 경쟁력 있거나 개선되었습니다.
• AOFP는 프루닝이 쉬운 레이어를 자동으로 탐지하고 시간이 지나며 프루닝의 세부 정도를 조정하여 Heavy한 수작업 조정 없이 전역적인 점진적 프루닝을 가능하게 합니다.