[논문 리뷰] Winning the Lottery Ahead of Time: Efficient Early Network Pruning

John Rachwan, Daniel Zügner외 4명|arXiv (Cornell University)|2022. 06. 21.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 성능을 유지하면서 경량화된 구조적 프루닝을 가능하게 하는 효율적인 초기 네트워크 프루닝 방법인 EarlyCroP을 제안한다. 기존의 경량화 방법과 비교해 98.5%의 무게 희박성까지 달성하면서 최고 수준의 정확도를 확보했으며, 학습 시간을 7배 단축하고 GPU 메모리를 4.9배 줄이며 탄소 배출량을 70% 감소시켰다. 이로 인해 고성능 모델을 일반 하드웨어에서도 학습이 가능하게 했다.

ABSTRACT

Pruning, the task of sparsifying deep neural networks, received increasing attention recently. Although state-of-the-art pruning methods extract highly sparse models, they neglect two main challenges: (1) the process of finding these sparse models is often very expensive; (2) unstructured pruning does not provide benefits in terms of GPU memory, training time, or carbon emissions. We propose Early Compression via Gradient Flow Preservation (EarlyCroP), which efficiently extracts state-of-the-art sparse models before or early in training addressing challenge (1), and can be applied in a structured manner addressing challenge (2). This enables us to train sparse networks on commodity GPUs whose dense versions would be too large, thereby saving costs and reducing hardware requirements. We empirically show that EarlyCroP outperforms a rich set of baselines for many tasks (incl. classification, regression) and domains (incl. computer vision, natural language processing, and reinforcment learning). EarlyCroP leads to accuracy comparable to dense training while outperforming pruning baselines.

연구 동기 및 목표

• 깊은 신경망에서 희박한 승리 티켓을 찾는 데 드는 높은 계산 비용을 해결하기 위해.
• 모델 정확도를 훼손하지 않으면서 학습 시간, GPU 메모리 사용량, 탄소 배출량을 줄이는 구조적 프루닝을 가능하게 하기 위해.
• 기울기 흐름과 신경 탄성 커널(Neural Tangent Kernel) 안정성을 추적하여 프루닝에 가장 적합한 초기 학습 시점의 최적화를 도출하기 위해.
• 기울기 흐름 보존을 통해 학습 동역학을 유지함으로써 대규모 희박 모델을 일반 GPU에서 학습이 가능하게 하기 위해.
• 비구조적 및 구조적 프루닝 기준선을 초월하는 성능을 보이기 위해 시각, NLP, 강화학습 작업 전반에서 성능을 높이기 위해.

제안 방법

• 모델의 학습 동역학에 미치는 영향을 최소화하는 기울기 흐름(GF) 기반 프루닝 기준을 제안한다.
• 기울기 흐름과 신경 탄성 커널(NTK) 간의 관계를 활용하여 초기 프루닝에 적합한 안정된 학습 단계를 식별한다.
• NTK가 약간의 변화만을 보이는 라지 커널 영역에서 프루닝을 적용함으로써 성능 저하를 최소화한다.
• 전체 뉴런이나 필터를 제거하면서도 기울기 흐름과 모델 성능을 유지하는 방식으로 구조적 프루닝을 확장한다.
• 다중 밀도 학습 루프가 필요 없이 단일 학습 런을 통해 희박한 하위망을 식별하고 프루닝한다.
• NTK 안정성과 GF 보존에 기반한 체계적인 프루닝 스케줄을 도입하여 가능한 가장 이른 프루닝 시점을 결정한다.

실험 결과

연구 질문

• RQ1 학습 초기 단계에서 프루닝이 모델 성능에 미치는 영향이 최소화되는 시점을 식별할 수 있을까? 이를 통해 효율적인 하위망 탐색이 가능할까?
• RQ2 기울기 흐름 보존이 구조적 프루닝에 대해 체계적인 기준이 될 수 있을까? 이를 통해 정확도와 효율성이 유지될 수 있을까?
• RQ3 초기 구조적 프루닝이 기존의 비구조적 및 구조적 기준선 대비 정확도, 추론 속도, 탄소 발자국 측면에서 뛰어난 성능을 보일 수 있을까?
• RQ4 초기 프루닝을 통해 학습된 희박 모델이 유사 크기의 밀도 모델보다 더 뛰어난 성능을 낼 수 있을까?
• RQ5 밀도 학습 대비 초기 프루닝이 학습 시간, GPU 메모리 사용량, 탄소 배출량을 얼마나 줄일 수 있을까?

주요 결과

• EarlyCroP-U는 높은 희박성 수준에서 밀도 모델과 유사하거나 뛰어난 테스트 정확도를 확보했으며, LTH 및 GraSP를 포함한 모든 비구조적 기준선을 능가했다.
• EarlyCroP-S는 밀도 학습 대비 학습 시간을 7배 단축하고 GPU 메모리를 4.9배 줄였으며 탄소 배출량을 최대 70% 감소시켰다.
• VGG16를 사용한 CIFAR-100에서 EarlyCroP-S는 98.5%의 무게 희박성과 89.9%의 노드 희박성으로 92.5%의 테스트 정확도를 달성했으며, 밀도 모델을 능가했다.
• ResNeXt101_32x48d 모델에서 EarlyCroP-S는 80 에포크 후 93.2%의 정확도를 기록했으며, 98.5%의 희박성 수준에서 학습 속도가 6.2배 빨라졌고, 유사 크기의 밀도 모델 대비 탄소 배출량이 9.5배 적었다.
• NLP 작업에서는 EarlyCroP-S가 89%의 희박성 수준에서 성능을 유지했으며, 그 이상의 희박성에서도 모든 기준선을 능가했다. 반면 LTR는 레이어별 가중치 감쇠로 인해 실패했다.
• 강화학습 작업에서는 EarlyCroP-S가 LTR 및 비구조적 기준선을 모두 능가했으며, 비구조적 모델은 효율적인 기울기 계산이 어려워 더 긴 학습 기간이 필요해 성능이 뒤처졌다.