[논문 리뷰] Good Subnetworks Provably Exist: Pruning via Greedy Forward Selection

Mao Ye, Chengyue Gong외 4명|arXiv (Cornell University)|2020. 03. 03.

Advanced Neural Network Applications참고 문헌 52인용 수 37

한 줄 요약

그리디 전진 선택이 작은 하위 네트워크를 찾고 초기 학습에서부터 학습한 네트워크보다 증명 가능한 더 낮은 손실을 갖도록 만들 수 있음을 보이고, ImageNet 모델에 대한 강력한 실험적 가지치기 성과를 시연한다.

ABSTRACT

Recent empirical works show that large deep neural networks are often highly redundant and one can find much smaller subnetworks without a significant drop of accuracy. However, most existing methods of network pruning are empirical and heuristic, leaving it open whether good subnetworks provably exist, how to find them efficiently, and if network pruning can be provably better than direct training using gradient descent. We answer these problems positively by proposing a simple greedy selection approach for finding good subnetworks, which starts from an empty network and greedily adds important neurons from the large network. This differs from the existing methods based on backward elimination, which remove redundant neurons from the large network. Theoretically, applying the greedy selection strategy on sufficiently large {pre-trained} networks guarantees to find small subnetworks with lower loss than networks directly trained with gradient descent. Our results also apply to pruning randomly weighted networks. Practically, we improve prior arts of network pruning on learning compact neural architectures on ImageNet, including ResNet, MobilenetV2/V3, and ProxylessNet. Our theory and empirical results on MobileNet suggest that we should fine-tune the pruned subnetworks to leverage the information from the large model, instead of re-training from new random initialization as suggested in \citet{liu2018rethinking}.

연구 동기 및 목표

• 전진 선택을 통한 가지치기가 왜 처음부터 학습하는 것보다 더 나은 작은 하위 네트워크를 낳을 수 있는지에 대한 동기를 제시한다.
• 사전에 학습된 대형 네트워크에서 하위 네트워크를 구축하기 위한 간단한 그리디 전진 선택 알고리즘을 제안한다.
• 완화된 가정하에서 가지치기된 하위 네트워크의 손실 감소에 대한 이론적 보장을 제공한다.
• ImageNet 아키텍처(ResNet, MobileNet 계열, ProxylessNet)에서 강력한 경험적 가지치기 성능을 시연한다.
• 무작위 초기화로 재학습하는 것과 비교한 가지치기된 하위 네트워크의 파인튜닝에 대한 실용적 시사점을 논의한다.

제안 방법

• 대형 네트워크에서 손실을 최소화하도록 최대 n개의 뉴런으로 이루어진 부분집합 S를 선택하는 하위 네트워크 선택 문제를 정의한다.
• 각 단계에서 L[f_{S ∪ {i}}]를 최소화하는 뉴런 i를 추가하는 전방향 그리디 규칙을 제안한다.
• S의 뉴런들로부터 활성화의 평균으로 f_S를 정의하고 원래 가중치를 보존한다.
• 완만한 가정(가정 1)하에 그리디 절차가 L[f_{S_n}] = O(1/n) + L_N^*를 달성함을 보인다.
• 대형 네트워크가 충분히 과매개화되어 있을 때 L[f_{S_n}] = O(1/n^2)라는 더 빠른 속도를 보인다(가정 2).
• 가정 2를 과매개화와 Frank-Wolfe 내부점 조건과 연관시킨다.
• 무작위 가중치 네트워크(로터리 티켓 맥락)에 결과를 확장하고 전방 선택과 후방 제거를 비교한다.
• 딥 네트워크를 위한 계층별 실용적 알고리즘 1을 제공하고 파인튜닝 대 재훈련에 대해 논의한다.

실험 결과

연구 질문

• RQ1 대형 사전 학습 네트워크 내부에 같은 크기의 네트워크를 처음부터 학습시킨 것보다 더 나은 성능의 작은 하위 네트워크가 존재하는가?
• RQ2 간단한 그리디 전진 선택 절차가 이러한 하위 네트워크를 이로운 손실 감소 속도로 이론적으로 찾을 수 있는가?
• RQ3 이론적 보장이 소형 네트워크의 경사하강법 학습 및 역방향 제거 가지치기와 어떻게 비교되는가?
• RQ4 이론적 결과가 최신 아키텍처와 데이터셋(예: ImageNet)에서 실험적으로 입증되는가?

주요 결과

• 그리디 전진 선택은 일반적으로 크기가 n인 하위 네트워크에서 손실 L[f_{S_n}] = O(1/n) + L_N^*를 가진다.
• 대형 네트워크가 충분히 과매개화되면 L[f_{S_n}] = O(1/n^2)이다.
• O(1/n^2) 속도는 무작위로 초기화된 대형 네트워크(i.i.d. 가중치)에도 확장된다.
• 가려진 하위 네트워크는 ImageNet FLOPs 제약하에서 같은 크기의 네트워크를 처음부터 학습시킨 것보다 종종 우수하며, 특히 모바일 아키텍처에서 그렇다.
• 가지치기 후 MobileNet 변형을 파인튜닝하는 것이 처음부터 재학습하는 것보다 일관되게 개선되며 이론과 일치한다.
• 전방 선택이 가지치기 효율성과 정확도에서 ResNet34 및 MobileNetV2에서 역방향 제거보다 경험적으로 우수하다.