[논문 리뷰] Joint Multi-Dimension Pruning

Zechun Liu, Xiangyu Zhang외 5명|arXiv (Cornell University)|2020. 05. 18.

Advanced Neural Network Applications참고 문헌 50인용 수 6

한 줄 요약

JointPruning는 공간, 깊이, 채널 차원을 동시에 최적화하는 새로운 엔드 투 엔드 프루닝 프레임워크를 제안하며, 적응형 확률적 경사 하강 추정을 사용한다. 이는 ImageNet에서 극도로 높은 압축 비율 조건 하에서 MobileNet V1과 V2에서 기존 방법보다 각각 2.5% 및 2.6%의 정확도 향상을 달성하여 최신 기준을 초월한다.

ABSTRACT

We present joint multi-dimension pruning (named as JointPruning), a new perspective of pruning a network on three crucial aspects: spatial, depth and channel simultaneously. The joint strategy enables to search a better status than previous studies that focused on individual dimension solely, as our method is optimized collaboratively across the three dimensions in a single end-to-end training. Moreover, each dimension that we consider can promote to get better performance through colluding with the other two. Our method is realized by the adapted stochastic gradient estimation. Extensive experiments on large-scale ImageNet dataset across a variety of network architectures MobileNet V1&V2 and ResNet demonstrate the effectiveness of our proposed method. For instance, we achieve significant margins of 2.5% and 2.6% improvement over the state-of-the-art approach on the already compact MobileNet V1&V2 under an extremely large compression ratio.

연구 동기 및 목표

• 기존 프루닝 방법이 채널 또는 깊이와 같이 하나 또는 두 개의 차원만 별도로 최적화하는 데에 한계가 있다는 문제를 해결하기 위해.
• 공간, 깊이, 채널 차원을 동시에 프루닝하여 상호보완적인 잠재력을 탐색하고 모델 효율성과 정확도를 향상시키기 위해.
• 모든 세 차원에서 협력 최적화가 가능한 통합형 엔드 투 엔드 학습 가능한 프레임워크를 개발하기 위해.
• 특히 MobileNet V1/V2와 같은 소형 모델에서 정확도의 급격한 감소 없이 높은 압축 비율을 달성하기 위해.

제안 방법

• JointPruning는 한 번의 학습 과정에서 공간, 깊이, 채널 차원을 동시에 프루닝하는 공동 최적화 목적 함수를 수립한다.
• 다중 차원에서의 프루닝 결정의 비가역성 문제를 다루기 위해 수정된 확률적 경사 하강 추정 기법을 적용한다.
• 프루닝 결정이 미분 가능하고 기울기 갱신을 통해 학습 가능한 방식으로 엔드 투 엔드 학습이 가능하도록 한다.
• ImageNet 데이터셋에서 MobileNet V1, MobileNet V2, ResNet 등 다양한 아키텍처에 프레임워크를 적용한다.
• 한 차원에서의 개선이 다른 차원의 성능 향상에 기여하도록 협동 방식으로 프루닝을 수행한다.

실험 결과

연구 질문

• RQ1 공간, 깊이, 채널 차원을 동시에 프루닝하는 방식이 개별 차원 프루닝보다 더 나은 모델 압축과 정확도를 달성할 수 있는가?
• RQ2 세 차원에서의 협동 최적화는 극도로 높은 압축 조건 하에서 최종 모델 성능에 어떤 영향을 미치는가?
• RQ3 제안된 방법은 큰 압축 비율에서도 MobileNet V1 및 V2와 같은 소형 모델에서 정확도를 유지하거나 향상시킬 수 있는가?
• RQ4 적응형 확률적 경사 하강 추정 기법이 엔드 투 엔드 동시 프루닝을 가능하게 하는 데에 미치는 영향은 무엇인가?

주요 결과

• JointPruning는 ImageNet에서 극도로 큰 압축 비율 조건 하에서 MobileNet V1에서 최신 기준 방법보다 2.5%의 정확도 향상을 달성한다.
• 동일한 극도로 높은 압축 조건 하에서 MobileNet V2에서 현재 최신 기준 방법보다 2.6%의 정확도 향상을 기록한다.
• ResNet을 포함한 여러 아키텍처에서 일관된 성능 향상을 보이며 광범위한 적용 가능성을 입증한다.
• 모든 세 차원에서의 협동 프루닝은 단일 또는 이중 차원 프루닝 전략보다 더 뛰어난 모델 효율성과 정확도를 제공한다.