[논문 리뷰] Fine-Pruning: Joint Fine-Tuning and Compression of a Convolutional Network with Bayesian Optimization

Frederick Tung, S. Muralidharan외 1명|arXiv (Cornell University)|2017. 07. 28.

Advanced Image and Video Retrieval Techniques참고 문헌 29인용 수 15

한 줄 요약

이 논문은 베이지안 최적화를 사용하여 반복 과정에서 프루닝 파라미터를 적응적으로 조정함으로써 컨volutional 네트워크의 공동 미세조정 및 압축 방법인 Fine-Pruning을 제안한다. UCMerced Land Use에서는 최대 48.8배의 파라미터 감소를 달성하였고, Describable Textures에서는 23.7배의 감소를 이룩하였으며, 밀도 있는 미세조정 모델과의 테스트 정확도 차이는 1% 이내를 유지한다.

ABSTRACT

When approaching a novel visual recognition problem in a specialized image domain, a common strategy is to start with a pre-trained deep neural network and fine-tune it to the specialized domain. If the target domain covers a smaller visual space than the source domain used for pre-training (e.g. ImageNet), the fine-tuned network is likely to be over-parameterized. However, applying network pruning as a post-processing step to reduce the memory requirements has drawbacks: fine-tuning and pruning are performed independently; pruning parameters are set once and cannot adapt over time; and the highly parameterized nature of state-of-the-art pruning methods make it prohibitive to manually search the pruning parameter space for deep networks, leading to coarse approximations. We propose a principled method for jointly fine-tuning and compressing a pre-trained convolutional network that overcomes these limitations. Experiments on two specialized image domains (remote sensing images and describable textures) demonstrate the validity of the proposed approach.

연구 동기 및 목표

• 원격 감시 및 텍스처와 같은 특수화된 시각 도메인에서 과도하게 파라미터가 많은 미세조정된 네트워크의 비효율성을 해결한다.
• 독립적인 미세조정과 후행 프루닝의 한계를 극복한다. 이는 정적 프루닝 파라미터와 비효율적인 하이퍼파라미터 탐색을 포함한다.
• 메모리 효율성을 향상시키면서 정확도를 훼손하지 않도록 네트워크 압축과 미세조정을 공동으로 최적화하는 원칙적인, 적응적인 방법을 개발한다.
• 학습 중에 네트워크 특성의 변화를 반영하여 계층별 프루닝 비율을 자동으로 동적으로 조정할 수 있는 방법을 제공한다.

제안 방법

• 베이지안 최적화를 사용하여 네트워크의 미세조정과 프루닝 파라미터 업데이트를 번갈아가며 수행하는 반복적 프로세스를 도입한다.
• 네트워크 성능에 기반해 시간이 지남에 따라 변화하는 최적의 프루닝 파라미터(예: 각 계층의 희박성 수준)를 학습하기 위해 베이지안 최적화를 활용한다.
• 파라미터 수를 최소화하면서 정확도를 유지하는 것을 목표로 하여 프루닝 과정을 미분 가능한 목적 함수로 모델링한다.
• 계층별로 희박성을 제어할 수 있는 파rameterized 프루닝 모듈을 적용하여, 컨트롤러가 fc6 및 fc7와 같은 고파라미터 계층을 우선순위로 삼을 수 있도록 한다.
• 안정적인 수렴을 보장하기 위해 각 반복에서 고정된 학습률 0.001을 사용하고 10 에포크 동안 훈련한다.
• 프루닝과 미세조정 간의 피드백을 통해 최적화 과정을 이끄는 지식 전이와 압축의 호환성을 활용한다.

Figure 1: Consider the task of training a deep convolutional neural network on a specialized image domain (e.g. remote sensing images). (a) The conventional approach starts with a network pre-trained on a large, generic dataset (e.g. ImageNet) and fine-tunes it to the specialized domain. (b) Since t

실험 결과

연구 질문

• RQ1 적응 최적화를 통한 공동 미세조정 및 프루닝이 독립적인 후행 프루닝보다 모델 크기를 더 효과적으로 줄일 수 있는가?
• RQ2 베이지안 최적화가 반복적 압축 과정에서 계층 간 프루닝 파라미터 선택에 어떻게 기여하는가?
• RQ3 제안된 방법은 특수화된 이미지 도메인에서 상당한 압축을 이루면서도 높은 정확도를 유지할 수 있는가?
• RQ4 이 방법은 fc6 및 fc7와 같은 고파라미터 계층의 프루닝을 자동으로 우선순위로 삼는가? 만약 그렇다면 그 이유는 무엇인가?
• RQ5 베이지안 최적화에 의해 학습된 적응형 프루닝 전략이 메모리-정확도 트레이드오프 측면에서 고정 또는 근사 프루닝 히우리스틱을 능가하는가?

주요 결과

• Fine-Pruning는 UCMerced Land Use 데이터셋에서 밀도 있는 미세조정 네트워크와의 테스트 정확도 차이가 1% 이내인 1.17M(57.0M 대비)로 파라미터를 48.8배 감소시켰다.
• 더 도전적인 Describable Textures 데이터셋에서는 2.41M의 파라미터로 23.7배의 압축률을 달성하였고, 독립 기반 베이스라인 대비 5.9배 높은 압축 효율성을 보였다.
• 베이지안 최적화 컨트롤러는 초기에 강한 프루닝을 적용하고 네트워크 수렴에 따라 점차 공격적인 프루닝으로 전환하는 경향을 학습하였다.
• 이 방법은 목적 함수에서 높은 영향을 미치는 fc6 및 fc7 계층의 프루닝을 자동으로 우선순위로 삼았으며, 이는 각각 파라미터 감소의 99.2%와 99.6%를 담당하였다.
• 계층별로 프루닝한 결과, UCMerced에서 전체 파라미터의 98.0%가 제거되었고, 특히 완전히 연결된 계층에서 가장 높은 감소율을 기록하였다.
• 10번의 랜덤 실행에서 일관된 성능을 보이며 특수화된 시각 도메인에 대한 강건성과 일반화 능력을 입증하였다.