[논문 리뷰] Winning the Lottery with Continuous Sparsification

Pedro Savarese, Hugo Silva외 1명|arXiv (Cornell University)|2019. 12. 10.

Advanced Neural Network Applications참고 문헌 35인용 수 32

한 줄 요약

논문은 Continuous Sparsification을 소개하는 결정론적이며 L0-정규화 기반 가지치기 방법으로, 학습 도중 네트워크를 지속적으로 희소화하고 초기 이터레이션에서 재학습할 때 희소 하위 네트워크의 병렬 티켓 검색을 가능하게 하며, 밀집 모델의 성능을 매치하거나 능가하는 하위 네트워크를 재학습에서 달성할 수 있습니다. 이 방법은 CIFAR-10(VGG-16, ResNet-20) 및 ImageNet(ResNet-50)에서 최첨단 가지치기 및 티켓 검색 방법보다 우수합니다.

ABSTRACT

The search for efficient, sparse deep neural network models is most prominently performed by pruning: training a dense, overparameterized network and removing parameters, usually via following a manually-crafted heuristic. Additionally, the recent Lottery Ticket Hypothesis conjectures that, for a typically-sized neural network, it is possible to find small sub-networks which, when trained from scratch on a comparable budget, match the performance of the original dense counterpart. We revisit fundamental aspects of pruning algorithms, pointing out missing ingredients in previous approaches, and develop a method, Continuous Sparsification, which searches for sparse networks based on a novel approximation of an intractable $\ell_0$ regularization. We compare against dominant heuristic-based methods on pruning as well as ticket search -- finding sparse subnetworks that can be successfully re-trained from an early iterate. Empirical results show that we surpass the state-of-the-art for both objectives, across models and datasets, including VGG trained on CIFAR-10 and ResNet-50 trained on ImageNet. In addition to setting a new standard for pruning, Continuous Sparsification also offers fast parallel ticket search, opening doors to new applications of the Lottery Ticket Hypothesis.

연구 동기 및 목표

• 이전 L0 기반 방법의 간극을 해소하여 가지치기 및 Lottery Ticket Hypothesis를 동기화한다.
• 희소 마스크를 학습하기 위한 결정론적, 연속 이완을 개발한다.
• 표준 벤치마크에서 허용 휴리스틱 가지치기 및 기존 L0 방법보다 Continuous Sparsification이 우수하다는 것을 보여준다.
• 다중 라운드를 통해 재배치되지 않는 가중치를 재사용/조정하며 빠르게 연산 가능한 티켓 검색을 통해 고도로 희소하고 성능이 높은 하위 네트워크를 얻는다.

제안 방법

• 가지치를 L0-정규화 목표로 형식화하고 이진 마스크를 결정론적, 온도 제어 시그모이드 대리변수로 재매개변수화한다.
• β(베타)를 사용한 연속 경로를 통해 마스크를 소프트 게이트에서 이진 게이트로 점진적으로 강화한다.
• β가 학습 중에 냉각되며 L(f(...; sigmoid(βs) ⊙ w)) + λ ||sigmoid(βs)||1 를 최소화한다.
• 가중치를 되돌리지 않도록 '라운드' 간 masking 매개변수를 재설정하고 재초기화한다.
• 원하는 경우 0-1 희소성을 보장하기 위해 끝에 이진 마스크 m = H(s)를 출력한다.
• 티켓 검색을 적용하기 위해 β를 1로 재설정하고 라운드 간 유지된 가중치를 재사용/조정하여 여러 라운드를 실행한다(전체 재워춤은 하지 않음).

실험 결과

연구 질문

• RQ1 L0-정규화 형식을 통해 heuristic 가지치기 없이도 경쟁력 있는 희소 하위 네트워크를 얻을 수 있는가?
• RQ2 결정론적, 연속 이완이 확률적 L0 방법과 비교하여 하위 네트워크의 희소성, 학습 안정성 및 재학습 가능성을 향상시키는가?
• RQ3 Continuous Sparsification이 Iterative Magnitude Pruning(IMP)에서 발견된 승리 티켓을 실제로 더 빠르고 병렬로 발견하도록 할 수 있는가?

주요 결과

• Continuous Sparsification은 재학습 시 CIFAR-10 및 ImageNet 설정에서 높은 희소성 수준에서도 밀집 모델의 정확도와 일치하거나 이를 능가하는 하위 네트워크를 생산한다.
• CS가 생성한 가장 희소한 일치 하위 네트워크는 IMP/IMP-C의 것보다 더 정확하고 훨씬 더 희소하다.
• CS는 CIFAR-10의 VGG-16 및 ResNet-20에서 가지치기에 대한 최첨단 희소성 및 정확도 보존을 달성하고, ResNet-50/ImageNet에서 경쟁력 있는 결과를 보인다.
• CS가 제공하는 티켓 검색은 일부 경우에 밀집 모델보다 약 1% 정도 더 높은 성능을 보이는 매우 희소한 하위 네트워크를 찾을 수 있다.
• 병렬로 실행될 때, CS는 여러 티켓을 생성하는 데 필요한 전체 학습 에포크 수를 크게 줄인다(예: CIFAR-10 실험에서 보고된 425대 2550 에포크).
• CS는 기존의 확률적 L0 접근법 및 다른 가지치기 방법들보다 가지치기와 티켓 검색 작업 전반에서 우수한 성과를 보이며 희소성-정확도 트레이드오프의 새로운 벤치마크를 확립한다.