[논문 리뷰] BlockSwap: Fisher-guided Block Substitution for Network Compression on a Budget

Jack Turner, Elliot J. Crowley외 3명|arXiv (Cornell University)|2019. 06. 10.

Advanced Neural Network Applications참고 문헌 49인용 수 13

한 줄 요약

BlockSwap는 목표 파rameter 예산을 충족시키기 위해 블록을 더 저렴한 대체품으로 교체하여 딥 네ural 네트워크를 압축하는 빠르고 피셔 정보 지도 기반의 방법이다. 단일 미니배치를 사용해 피셔 잠재력(피셔 potential)을 계산함으로써, 단일 GPU에서 5분 이내에 고성능 혼합블록형 네트워크를 식별한다. 이는 CIFAR-10, ImageNet, COCO에서 기존의 단일블록형 또는 기준 압축 방법보다 뛰어난 성능을 기록한다.

ABSTRACT

The desire to map neural networks to varying-capacity devices has led to the development of a wealth of compression techniques, many of which involve replacing standard convolutional blocks in a large network with cheap alternative blocks. However, not all blocks are created equally; for a required compute budget there may exist a potent combination of many different cheap blocks, though exhaustively searching for such a combination is prohibitively expensive. In this work, we develop BlockSwap: a fast algorithm for choosing networks with interleaved block types by passing a single minibatch of training data through randomly initialised networks and gauging their Fisher potential. These networks can then be used as students and distilled with the original large network as a teacher. We demonstrate the effectiveness of the chosen networks across CIFAR-10 and ImageNet for classification, and COCO for detection, and provide a comprehensive ablation study of our approach. BlockSwap quickly explores possible block configurations using a simple architecture ranking system, yielding highly competitive networks in orders of magnitude less time than most architecture search techniques (e.g. under 5 minutes on a single GPU for CIFAR-10). Code is available at https://github.com/BayesWatch/pytorch-blockswap.

연구 동기 및 목표

• 엄격한 파rameter 예산 하에서 고성능 혼합블록형 신경망 아키텍처를 효율적으로 찾는 데 도전하는 것.
• 압축된 네트워크에서 블록 교체를 위한 전수 검색 또는 신경망 아키텍처 탐색(NAS)의 막대한 계산 비용을 극복하는 것.
• 완전한 훈련 없이도 후보 아키텍처를 신속하게 순위 매길 수 있는 방법을 개발하여 자원 제약이 있는 장치에 신속한 구현을 가능하게 하는 것.
• 다양한 블록을 서로 다른 저비용 대체품으로 교체하는 비균일한 블록 교체 방식이 균일한 교체나 표준 정규화 방법보다 더 뛰어난 성능을 낼 수 있음을 입증하는 것.
• 이 방법이 이미지 분류(CIFAR-10, ImageNet) 및 객체 검출(COCO)을 포함한 다양한 벤치마크에서 효과적으로 작동함을 보여주는 것.

제안 방법

• 원본 네트워크의 각 블록을 여러 가지 이용 가능한 저비용 블록 유형 중 하나로 교체하여, 총 파arameter 수가 목표 예산 내에 유지되도록 혼합블록형 아키텍처 후보군을 무작위로 샘플링한다.
• 각 후보 네트워크의 피셔 잠재력을 계산하기 위해 단일 미니배치를 통과시키고, 모든 블록에 걸쳐 경험적 피셔 정보를 합산한다. 이는 네트워크의 파arameter 업데이트에 대한 민감도를 추정한다.
• 피셔 잠재력 기반으로 후보 아키텍처를 순위 매기며, 가장 높은 순위를 받은 모델을 학생 네트워크로 선택한다.
• 학습된 학생 네트워크는 주어진 특징 맵을 통해 주의 전달 기반 지식 정규화를 사용하여 원본 교사 네트워크의 지시를 받는다.
• 후보마다 단일 순방향 전파를 사용해 성능 잠재력을 추정함으로써, 완전한 훈련이나 비용이 많이 드는 검색 루프를 피한다.
• 더 높은 피셔 잠재력이 더 나은 일반화 및 표현 능력과 관련이 있다는 가정을 활용하여, 신속하고 정확한 아키텍처 선택을 가능하게 한다.

실험 결과

연구 질문

• RQ1 단일 배치 기반 피셔 기반 순위 매기기 방법이 파arameter 예산 내에서 고성능 혼합블록형 신경망 아키텍처를 효과적으로 식별할 수 있는가?
• RQ2 다양한 블록을 서로 다른 저비용 대체품으로 교체하는 비균일한 블록 교체 방식이 균일한 교체나 표준 정규화보다 더 높은 성능을 낼 수 있는가?
• RQ3 정확도와 검색 효율성 측면에서 BlockSwap은 깊이/폭 스케일링, 프루닝, 또는 단일블록형 교체와 같은 기존 압축 기법보다 어떻게 비교되는가?
• RQ4 BlockSwap은 이미지 분류 및 객체 검출을 포함한 다양한 작업과 데이터셋으로 일반화 가능한가?
• RQ5 아키텍처 순위 매기기에서 사용될 때 피셔 잠재력이 최종 모델 성능의 신뢰할 수 있는 대체 지표가 되는가?

주요 결과

• BlockSwap는 CIFAR-10에서 단일 GPU에서 5분 이내에 고성능 혼합블록형 네트워크를 식별하여 NAS 방법 대비 검색 시간을 극적으로 단축시켰다.
• ImageNet에서 BlockSwap의 8M 파라미터 학생 모델은 상위 1위 오차율 26.24%를 기록하여 교사 모델(26.73%)과 단일블록형 G(N) 학생 모델(30.16%)을 모두 뛰어넘었다.
• 8M 파라미터에서 BlockSwap의 학생 모델은 상위 5위 오차율 7.75%를 달성하여, 거의 3배 적은 파라미터를 사용하면서도 교사 모델보다 0.82%p 높은 성능을 보였다.
• COCO 객체 검출에서 BlockSwap의 백본(3M 파라미터)은 AP 23.4를 기록하여 동일한 파라미터 수를 가진 단일블록형 ResNet-34-G(N) 백본(AP 22.3)를 뛰어넘었다.
• 피셔 잠재력 순위 매기기 지표는 최종 모델 성능과 높은 상관관계를 보였으며, 아키텍처 선택을 위한 빠르고 신뢰할 수 있는 대체 지표로의 활용 가능성을 입증했다.
• 절단 실험 결과, 혼합블록형 네트워크가 항상 단일블록형 또는 균일하게 교체된 네트워크보다 뛰어나다는 것이 확인되었으며, 이는 비균일한 블록 교체의 이점이 있음을 보여주었다.