[논문 리뷰] Greedy Optimization Provably Wins the Lottery: Logarithmic Number of Winning Tickets is Enough

Mao Ye, Lemeng Wu외 1명|arXiv (Cornell University)|2020. 10. 29.

Advanced Neural Network Applications인용 수 7

한 줄 요약

이 논문은 대부분의 실용적 딥 네트워크에 적용 가능한 약한 가정 하에, 정규화된 네트워크 크기 $n$에 대해 증거 가능한 지수적 오차 감소율 $ olimits\mathcal{O}(\exp(-cn))$을 달성하는 그레디 최적화 기반의 네트워크 프루닝 방법을 제안한다. 기존의 다항식 오차율을 가진 방법들과는 달리, 이 방법은 계산적으로 효율적이며 깊이 있는, 과잉 파rameter화되지 않은 아키텍처에도 적용 가능하며, 원래 네트워크 성능에 더 빠르게 수렴함을 보장한다.

ABSTRACT

Despite the great success of deep learning, recent works show that large deep neural networks are often highly redundant and can be significantly reduced in size. However, the theoretical question of how much we can prune a neural network given a specified tolerance of accuracy drop is still open. This paper provides one answer to this question by proposing a greedy optimization based pruning method. The proposed method has the guarantee that the discrepancy between the pruned network and the original network decays with exponentially fast rate w.r.t. the size of the pruned network, under weak assumptions that apply for most practical settings. Empirically, our method improves prior arts on pruning various network architectures including ResNet, MobilenetV2/V3 on ImageNet.

연구 동기 및 목표

• 딥 네트워크가 얼마나 프루닝될 수 있는지 정확도를 유지하면서 이론적으로 밝혀지지 않은 문제를 해결하기 위해.
• 기존 방법보다 뛰어난 성능을 보이는 오차 감소에 대해 증명 가능한 이론적 보장을 갖춘 프루닝 방법을 개발하기 위해.
• 실제 딥 네트워크에 적용 가능한 약한 가정 하에 작동하도록 보장하여 과잉 파arameter화가 필요 없도록 하기 위해.
• 다양한 아키텍처인 ResNet, MobileNet, DGCNN 등에서 최신 기술 수준을 초월하는 성능 향상을 이룰 수 있는 실용적이고 효율적인 알고리즘을 제공하기 위해.

제안 방법

• 이 방법은 원래 네트워크의 활성화 분포와의 거리를 최소화하는 뉴런을 반복적으로 선택하는 그레디 프rank-Wolfe 스타일 최적화를 사용한다.
• 프루닝을 뉴런 활성화에 대한 볼록 Hull 근사 문제로 공식화하여, 최소 오차를 갖는 하위네트워크로의 수렴을 보장한다.
• 알고리즘은 레이어 내 평균 활성화 벡터에 대한 뉴런 기여도를 기반으로 그레디 프론트워드 선택 전략을 사용하여 뉴런을 선택한다.
• 뉴런 활성화의 볼록 Hull의 기하적 성질을 활용하여 리프시츠 연속성으로 근사 오차를 제한한다.
• 이 방법은 계층별로 적용되어 원래 네트워크의 기능적 행동을 유지하는 프루닝된 네트워크를 구성한다.
• 이론적 보장을 훼손하지 않으면서도 계산 효율성을 향상시키기 위해 실용적인 속도 향상 기법을 도입한다.

실험 결과

연구 질문

• RQ1 기존 방법의 $\mathcal{O}(n^{-1})$ 오차율보다 더 빠른 증명 가능한 오차 감소율을 달성할 수 있는가?
• RQ2 원래 네트워크가 과잉 파arameter화되어 있지 않아도 지수적 오차 감소($\mathcal{O}(\exp(-cn))$)를 달성할 수 있는가?
• RQ3 약한, 현실적인 가정 하에 깊이 있는 딥 네트워크의 프루닝에 대해 그레디 최적화 방법이 이론적으로 타당한가?
• RQ4 다양한 아키텍처인 ResNet과 MobileNet에서 제안된 방법이 기존 프루닝 기준선과 실증적으로 어떻게 비교되는가?
• RQ5 효율적인 계산과 최소한의 정확도 손실로 이론적 오차 경계가 실생활에서 달성될 수 있는가?

주요 결과

• 제안된 방법은 $\mathcal{O}(\exp(-cn))$의 지수적 오차 감소율을 달성하여 기존 방법의 $\mathcal{O}(n^{-1})$ 또는 $\mathcal{O}(n^{-2})$ 오차율보다 훨씬 빠르게 수렴한다.
• 이론적 오차 경계는 과잉 파arameter화가 필요 없는 약한 가정 하에서도 유지되며, 대부분의 실용적 딥 네트워크에 적용 가능하다.
• 실증적으로, 이 방법은 ImageNet과 ModelNet40 벤치마크에서 ResNet-34, MobileNetV2/V3, DGCNN 등 다양한 아키텍처에서 기존 최신 기술 수준의 프루닝 기법을 초월한다.
• 이 방법은 구현이 단순하며 실용적인 속도 향상 기법을 포함하여 성능에 손상 없이 시간 효율성을 향상시킨다.
• 알고리즘은 완전히 훈련된 네트워크에서 고성능 하위네트워크를 성공적으로 식별하여, 트레이닝 후에 웨이팅 티켓을 찾을 수 있음을 보여준다.
• 이론적 분석은 프루닝된 네트워크와 원래 네트워크 간의 오차가 프루닝된 네트워크 크기와 함께 지수적으로 감소함을 확인한다.