[논문 리뷰] 2PFPCE: Two-Phase Filter Pruning Based on Conditional Entropy

Chuhan Min, Aosen Wang외 3명|arXiv (Cornell University)|2018. 09. 06.

Advanced Neural Network Applications참고 문헌 27인용 수 47

한 줄 요약

조건부 엔트로피를 사용해 필터를 선택하는 두 단계 필터 프루닝 프레임워크(글로벌 → 계층별)를 제안하고, VGG-16과 CIFAR-10에서 정확도 손실을 작게 하면서 FLOPs를 대폭 감소시켰으며, 이전 기준보다 더 나은 압축을 달성했다.

ABSTRACT

Deep Convolutional Neural Networks~(CNNs) offer remarkable performance of classifications and regressions in many high-dimensional problems and have been widely utilized in real-word cognitive applications. However, high computational cost of CNNs greatly hinder their deployment in resource-constrained applications, real-time systems and edge computing platforms. To overcome this challenge, we propose a novel filter-pruning framework, two-phase filter pruning based on conditional entropy, namely extit{2PFPCE}, to compress the CNN models and reduce the inference time with marginal performance degradation. In our proposed method, we formulate filter pruning process as an optimization problem and propose a novel filter selection criteria measured by conditional entropy. Based on the assumption that the representation of neurons shall be evenly distributed, we also develop a maximum-entropy filter freeze technique that can reduce over fitting. Two filter pruning strategies -- global and layer-wise strategies, are compared. Our experiment result shows that combining these two strategies can achieve a higher neural network compression ratio than applying only one of them under the same accuracy drop threshold. Two-phase pruning, that is, combining both global and layer-wise strategies, achieves 10 X FLOPs reduction and 46% inference time reduction on VGG-16, with 2% accuracy drop.

연구 동기 및 목표

• 제약된 자원 환경에서 정확도를 유지하면서 CNN 추론 비용을 줄이려는 동기를 제시한다.
• 각 필터가 정확도에 기여하는 바를 정량화하기 위해 조건부 엔트로피를 기반으로 한 필터 가지치기 기준을 도입한다.
• 전역 및 계층별 전략을 결합한 두 단계 프루닝 프레임워크를 개발해 더 높은 압축을 달성한다.
• 미세 조정 중 과적합을 완화하기 위한 최대 엔트로피 필터 프리징 기법을 제안한다.
• VGG-16과 CIFAR-10 같은 CNN에서의 유효성을 보여주며, FLOPs, 데이터 용량, 실제 추론 시간을 측정한다.

제안 방법

• 컨볼루션 레이어 내 필터의 조건부 엔트로피를 가지치기의 기준으로 정의한다.
• 1단계: 정확도 감소 임계치로 반복적인 미세 조정과 함께 최소 조건부 엔트로피를 가진 필터를 제거하는 전역 가지치기.
• 2단계: 조건부 엔트로피를 이용한 계층별 탐욕적 가지치기, 정확도 손실 임계치로 미세 조정 제약.
• 최대 엔트로피를 갖는 뉴런에 해당하는 가중치를 역전파 중 고정시키는 최대 엔트로피 프리징 메커니즘을 강제해 과적합을 줄인다.
• 프루닝 후 정보를 보존하기 위해 최대 조건부 엔트로피 필터의 활성화를 기반으로 바이어스 항을 업데이트한다.
• 전역 전략과 계층별 전략을 비교하고 동일한 정확도 제약 하에서 두 단계 조합이 더 높은 압축을 산출함을 보인다.
• 손실에 조건화된 계층별 엔트로피를 집계해 con_ent를 계산하고 상위로 가지치기된 필터를 선택하는 알고리즘적 세부 정보를 제공한다.

실험 결과

연구 질문

• RQ1 조건부 엔트로피가 모델 정확도에 최소한의 영향을 주는 필터를 식별하는 효과적인 기준이 될 수 있는가?
• RQ2 전역 및 계층별 가지치기 전략을 결합하는 것이 고정된 정확도 저하 임계치하에서 어느 한 가지 전략만 사용할 때보다 더 높은 압축을 제공하는가?
• RQ3 최대-엔트로피 기반 가중치 프리징이 가지치기 및 미세 조정 중 과적합 및 최종 정확도에 어떠한 영향을 미치는가?
• RQ4 2PFPCE의 가지치기 결정이 표준 CNN에서 실제 FLOPs, 모델 크기 및 실제 추론 시간으로 어떻게 변환되는가?
• RQ5 제안된 가지치기 접근법이 아키텍처(VGG-16, ResNet-18) 및 데이터세트(CIFAR-10) 전반에 걸쳐 견고한가?

주요 결과

• 2PFPCE는 VGG-16과 CIFAR-10에서 특정 설정 하에 약 2%의 정확도 손실과 함께 상당한 가지치를 달성한다.
• 전역 가지치기 후 계층별 가지치기(두 단계)가 어떤 단계의 가지치기보다 더 높은 압축을 낳는다.
• 1단계 가지치기와 최대 엔트로피 기반 프리징은 미세 조정 중 과적합을 완화하는 데 기여한다.
• 2단계 계층별 가지치기와 조건부 엔트로피를 이용해 추가로 필터를 줄이면서도 주어진 임계 내에서 정확도를 유지한다.
• 실험적 결과는 데이터 용량과 실제 추론 시간의 큰 감소를 보여주며, 보고된 시나리오에서 FLOPs이 약 10배 감소하고 추론 시간은 약 46% 감소하는 등 현저한 개선을 보인다.
• 조건부 엔트로피 기반 기준이 계층별 가지치기 실험에서 L1-norm, APoZ, 활성화 엔트로피 기준보다 우수하다.