[논문 리뷰] VACL: Variance-Aware Cross-Layer Regularization for Pruning Deep Residual Networks

Shuang Gao, Xin Liu외 3명|arXiv (Cornell University)|2019. 09. 10.

Advanced Neural Network Applications참고 문헌 39인용 수 4

한 줄 요약

이 논문은 스킵 커넥션 레이어를 통해 연결된 필터를 그룹화하고, 계층 간 가중치 분산을 최소화하여 구조적 스파arsity를 강제함으로써, 깊이 있는 잔차 신경망을 위한 분산 인식형 교차 레이어 정규화 방법인 VACL을 제안한다. CIFAR-10에서 ResNet110의 파라미터를 최대 79.5% 감소시키며 정확도 손실 없이 성능을 달성했고, ImageNet에서는 63.3%의 프루닝을 달성하면서 top-5 정확도 손실이 1% 미만이었으며, 최신 기술들보다 뛰어난 성능을 보였다.

ABSTRACT

Improving weight sparsity is a common strategy for producing light-weight deep neural networks. However, pruning models with residual learning is more challenging. In this paper, we introduce Variance-Aware Cross-Layer (VACL), a novel approach to address this problem. VACL consists of two parts, a Cross-Layer grouping and a Variance Aware regularization. In Cross-Layer grouping the $i^{th}$ filters of layers connected by skip-connections are grouped into one regularization group. Then, the Variance-Aware regularization term takes into account both the first and second-order statistics of the connected layers to constrain the variance within a group. Our approach can effectively improve the structural sparsity of residual models. For CIFAR10, the proposed method reduces a ResNet model by up to 79.5% with no accuracy drop and reduces a ResNeXt model by up to 82% with less than 1% accuracy drop. For ImageNet, it yields a pruned ratio of up to 63.3% with less than 1% top-5 accuracy drop. Our experimental results show that the proposed approach significantly outperforms other state-of-the-art methods in terms of overall model size and accuracy.

연구 동기 및 목표

• 스킵 커넥션으로 연결된 깊이 있는 잔차 신경망을 프루닝할 때, 비정렬된 스파arsity 패턴이 프루닝 효율을 떨어뜨리는 문제를 해결하기 위해.
• 스킵 커넥션으로 연결된 계층 간 가중치의 분산을 줄여 효과적인 프루닝을 방해하는 요인을 감소시키기 위해.
• 잔차 블록 전반에 걸쳐 채널 정렬 스파arsity를 강제함으로써 구조적 스파arsity를 향상시키기 위해.
• 그룹화된 레이어 내의 가중치에 대한 일차 및 이차 통계량을 활용하는 정규화 방법을 개발하기 위해.
• VACL로 훈련된 프루닝된 모델이 스캐닝 인식과 같은 후행 작업으로 일반화 잘 되는지 검증하기 위해.

제안 방법

• VACL은 스킵 커넥션으로 연결된 모든 레이어의 i번째 필터를 하나의 정규화 그룹으로 묶어 교차 레이어 그룹화를 수행한다.
• 각 그룹 내의 평균과 분산을 고려한 분산 인식 정규화 항을 적용하여, 크기의 차이를 최소화한다.
• 정규화 항은 연결된 계층 간 유사한 크기를 유도하여, 가중치를 제거할 때 높은 파라미터 분산 위험을 줄이도록 설계되어 있다.
• 훈련 및 프루닝 파이프라인에 통합되어, 정규화 항을 통해 훈련 중에 스파arsity가 유도된다.
• 학습된 하이퍼파rameter λ를 사용한 Group Lasso 스타일 정규화를 적용하여 스파arsity 유도 강도를 제어한다.
• 사전 훈련된 모델에서의 미세조정과 무작위 초기화에서의 훈련 모두를 지원하며, 경쟁적인 성능을 달성한다.

실험 결과

연구 질문

• RQ1 스킵 커넥션 레이어를 통해 연결된 계층 간의 스파arsity 패턴을 정렬함으로써 교차 레이어 정규화가 잔차 신경망의 구조적 스파arsity를 향상시킬 수 있는가?
• RQ2 기본적인 L1 또는 Group Lasso 정규화와 비교해, 가중치의 일차 및 이차 통계량을 모두 고려함으로써 프루닝 성능이 어떻게 향상되는가?
• RQ3 VACL은 ResNet 및 ResNeXt와 같은 깊이 있는 잔차 아키텍처에 적용했을 때 효과적인 프루닝을 가능하게 하고 정확도 손실를 최소화할 수 있는가?
• RQ4 VACL로 프루닝된 모델은 Indoor-67 데이터셋에서의 스캐닝 인식과 같은 전이 학습 작업으로 일반화 잘 되는가?
• RQ5 VACL을 사용해 무작위 초기화에서 프루닝된 모델을 훈련하는 것이 가능하며, 기존의 훈련-프루닝-미세조정 파이프라인과 비교해 성능은 어떻게 되는가?

주요 결과

• CIFAR-10에서 VACL은 ResNet110의 모델 크기를 79.5% 감소시키며 정확도 손실 없이 top-1 오차 22.85%를 달성했다.
• CIFAR-10에서 ResNeXt-29-8-64에 대해 82%의 파라미터 감소를 달성했고, 정확도 손실이 1% 미만이었다.
• ImageNet에서 VACL은 ResNet50에 대해 63.3%의 프루닝 비율을 달성했고, top-5 정확도 손실은 0.94%였으며, top-1 정확도 손실은 1.61%였다.
• 모델의 경량화와 정확도의 상호 균형을 고려할 때, 최신 기술인 ThiNet-70 및 ThiNet-50보다 성능이 뛰어났다.
• VACL로 훈련된 모델는 일반화 성능이 뛰어나, Indoor-67 스캐닝 인식 데이터셋에서 6.1M 파라미터로 70.1%의 정확도를 달성했다.
• 무작위 초기화에서 VACL로 훈련한 결과, 미세조정 방식과 비교해 정확도가 유사했으며, 런 간 최대 차이가 0.16% 이내였다.