[논문 리뷰] Dependency Aware Filter Pruning
이 논문은 상하위 레이어 간의 상호의존성을 고려하여 필터 중요도 평가를 향상시키는 의존성 인지 필터 프루닝 방법을 제안한다. 전역 순위 매기기 대신 국소적이고 레이어별 기준을 사용함으로써, 목표 압축 비율을 달성하기 위해 동적으로 스파arsity 정규화를 제어한다. CIFAR, SVHN, ImageNet에서 Network Slimming보다 더 안정적이고 정확도가 높은 압축 아키텍처를 달성한다.
Convolutional neural networks (CNNs) are typically over-parameterized, bringing considerable computational overhead and memory footprint in inference. Pruning a proportion of unimportant filters is an efficient way to mitigate the inference cost. For this purpose, identifying unimportant convolutional filters is the key to effective filter pruning. Previous work prunes filters according to either their weight norms or the corresponding batch-norm scaling factors, while neglecting the sequential dependency between adjacent layers. In this paper, we further develop the norm-based importance estimation by taking the dependency between the adjacent layers into consideration. Besides, we propose a novel mechanism to dynamically control the sparsity-inducing regularization so as to achieve the desired sparsity. In this way, we can identify unimportant filters and search for the optimal network architecture within certain resource budgets in a more principled manner. Comprehensive experimental results demonstrate the proposed method performs favorably against the existing strong baseline on the CIFAR, SVHN, and ImageNet datasets. The training sources will be publicly available after the review process.
연구 동기 및 목표
- 상하위 레이어 간 의존성을 忽시하는 기존 필터 프루닝 방법의 불안정성과 열악한 성능 문제를 해결한다.
- 연속된 합성곱 레이어 간의 관계를 모델링하여 필터 중요도 평가를 향상시킨다.
- 전역 순위 매기기로 인한 균형 잃은 아키텍처를 방지하기 위해 국소적이고 레이어별 프루닝 기준을 개발한다.
- 훈련 중에 목표 스파arsity 수준을 정확히 달성하기 위해 동적 정규화 제어 메커니즘을 도입한다.
- 자원 제약 하에 정확도 손실를 최소화하면서 더 체계적이고 안정적인 신경망 압축을 가능하게 한다.
제안 방법
- 연속된 레이어 간의 합성곱 가중치 L1 노름과 배치 정규화 스케일링 인자값을 조합한 의존성 인지 필터 중요도 점수를 제안한다.
- 각 레이어별로 국소 중요도 기준을 사용하여, 한 레이어의 스파arsity가 다른 레이어의 프루닝 결정에 영향을 주지 않도록 한다.
- 목표 스파arsity 비율을 달성하기 위해 훈련 중에 조정되는 동적 정규화 계수 λ를 도입한다.
- 배치 정규화 스케일링 인자에 대해 스파arsity 유도 L1 정규화를 적용하며, 현재 스파arsity와 목표값에 기반해 λ를 적응적으로 업데이트한다.
- 반복적 프루닝 및 피지테이닝을 수행한다: 동적 λ로 훈련하고, 국소 중요도 기반으로 필터를 프루닝한 후, 압축된 모델을 피지테이닝한다.
- 검증 기반 전략을 통해 최적의 프루닝 비율을 결정하고, 다수의 실행에 걸쳐 안정성을 확보한다.
실험 결과
연구 질문
- RQ1상하위 레이어 간 의존성을 忽시할 경우 필터 프루닝 방법의 안정성과 성능에 어떤 영향을 미치는가?
- RQ2전역 순위 매기기 대비 국소적이고 레이어별 중요도 기준이 더 나은 프루닝 아키텍처의 품질을 향상시킬 수 있는가?
- RQ3동적 정규화 제어는 훈련 중에 더 정확하고 일관된 스파arsity 제어를 가능하게 하는가?
- RQ4고비율 프루닝에서 제안된 방법이 Network Slimming보다 더 높은 정확도와 안정성을 확보할 수 있는가?
- RQ5초기 학습 대비 피지테이닝 시 프루닝 아키텍처의 품질은 어떻게 비교되는가?
주요 결과
- 제안된 방법은 CIFAR-10과 CIFAR-100에서 각각 프루닝 비율 0.7과 0.4일 때 93.93%와 73.71%의 top-1 정확도를 달성하여 Network Slimming(SLM)을 초월한다.
- ResNet-164에서 제안된 방법은 초깃값으로부터 학습할 경우 76.43%의 정확도를 기록했으며, 동일 조건에서 SLM의 75.05%보다 뛰어나다.
- CIFAR-10에서의 5중 교차검증에서 SLM은 모든 런에서 붕괴되어 10.00% 정확도를 기록한 반면, 제안된 방법은 최소한 한 레이어당 23개 이상의 채널이 남아 93.93% 정확도를 유지했다.
- 필터 분포도를 통해 제안된 방법이 SLM이 생성한 극단적으로 불균형한 레이어별 채널 수와 대비해 더 균형 잡히고 안정적인 프루닝 아키텍처를 생성함을 확인할 수 있다.
- 동적 정규화 제어는 목표 스파arsity에 일관되게 수렴하게 하며, 정적 λ 설정 대비 성능 향상을 입증한 추론 실험을 통해 검증되었다.
- ImageNet에서의 종합 실험을 통해 제안된 방법은 SLM를 압도적으로 능가하며, 최신의 데이터 의존적 및 데이터 독립적 프루닝 접근법과도 경쟁 가능한 성능을 보였다.
더 나은 연구,지금 바로 시작하세요
논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.