[논문 리뷰] Deep Ensembling with No Overhead for either Training or Testing: The All-Round Blessings of Dynamic Sparsity

Shiwei Liu, Tianlong Chen외 7명|University of Twente Research Information|2021. 06. 28.

Adversarial Robustness in Machine Learning참고 문헌 86인용 수 12

한 줄 요약

이 논문은 동적 희소 학습을 사용하여 랜덤 초기화 상태에서 희소 서브넷워크를 새로이 학습하는 새로운 딥 앙상블 프레임워크인 $ ext{FreeTickets}$를 소개한다. 이는 훨씬 낮은 학습 및 추론 비용으로도 밀도 있는 앙상블을 뛰어넘는 성능을 달성한다. 이 방법은 추가적인 오버헤드 없이 다양하고 고성능의 희소 서브넷워크("프리티켓")를 추출하며, FLOPs의 1/5만을 사용해 ImageNet에서 ResNet-50 앙상블을 능가한다.

ABSTRACT

The success of deep ensembles on improving predictive performance, uncertainty estimation, and out-of-distribution robustness has been extensively studied in the machine learning literature. Albeit the promising results, naively training multiple deep neural networks and combining their predictions at inference leads to prohibitive computational costs and memory requirements. Recently proposed efficient ensemble approaches reach the performance of the traditional deep ensembles with significantly lower costs. However, the training resources required by these approaches are still at least the same as training a single dense model. In this work, we draw a unique connection between sparse neural network training and deep ensembles, yielding a novel efficient ensemble learning framework called FreeTickets. Instead of training multiple dense networks and averaging them, we directly train sparse subnetworks from scratch and extract diverse yet accurate subnetworks during this efficient, sparse-to-sparse training. Our framework, FreeTickets, is defined as the ensemble of these relatively cheap sparse subnetworks. Despite being an ensemble method, FreeTickets has even fewer parameters and training FLOPs than a single dense model. This seemingly counter-intuitive outcome is due to the ultra training/inference efficiency of dynamic sparse training. FreeTickets surpasses the dense baseline in all the following criteria: prediction accuracy, uncertainty estimation, out-of-distribution (OoD) robustness, as well as efficiency for both training and inference. Impressively, FreeTickets outperforms the naive deep ensemble with ResNet50 on ImageNet using around only 1/5 of the training FLOPs required by the latter. We have released our source code at https://github.com/VITA-Group/FreeTickets.

연구 동기 및 목표

• 기존 딥 앙상블의 높은 계산 및 메모리 비용이 모델 수에 따라 선형적으로 증가하는 문제를 해결하기 위해.
• 시작부터 훈련한 희소 신경망이 효율적이고 고성능의 앙상블 구성원으로 활용될 수 있는지 탐색하기 위해.
• 단일 밀도 모델보다 학습 FLOPs와 파라미터 수가 낮은 앙상블 성능을 달성하는 프레임워크를 개발하기 위해.
• 동적 희소성으로 훈련된 다양한 희소 서브넷워크가 함께 모여 밀도 있는 앙상블을 능가할 수 있는지 증명하기 위해.

제안 방법

• 동적 희소 학습(DST)을 사용해 무작위 초기화 상태에서 희소 서브넷워크를 훈련하며, 가중치와 연결성 둘 다 동시에 최적화한다.
• 탐색 및 개선 학습 프로토콜을 활용: 한 번의 탐색 단계 이후에 다수의 개선 단계를 거쳐 다양한 서브넷워크를 생성한다.
• 각 서브넷워크는 고정된 희소 수준(예: 80% 또는 90%)으로 프루닝되며, 서로 다른 랜덤 시드를 사용해 독립적으로 훈련되어 다양성을 확보한다.
• 최종 앙상블인 $ ext{FreeTickets}$는 추가적인 추론 비용 없이 이러한 서브넷워크들을 통합하며, 효율성을 위해 동적 희소성을 활용한다.
• 구조화된 희소 패턴을 사용해 희소 GEMM 연산을 통해 효율적인 학습 및 추론을 가능하게 한다.
• 시작부터 훈련한 희소 서브넷워크는 다양성과 정확도를 동시에 확보할 수 있으며, 효과적인 앙상블을 형성할 수 있다는 통찰을 활용한다.

실험 결과

연구 질문

• RQ1 시작부터 훈련한 희소 서브넷워크는 최소한의 계산 오버헤드로 효과적인 앙상블 구성원으로 활용될 수 있는가?
• RQ2 동적으로 훈련된 희소 서브넷워크 앙상블은 정확도, 불확실성 추정, OoD 내성에서 밀도 있는 앙상블을 능가하는가?
• RQ3 이러한 앙상블의 학습 비용이 단일 밀도 모델의 비용보다 낮을 수 있는가?
• RQ4 동적 희소성 환경에서 서브넷워크의 다양성이 앙상블 성능에 어떤 영향을 미치는가?
• RQ5 동적 희소성 학습이 단일 모델과 밀도 있는 앙상블을 모두 능가하는 효율적이고 저비용의 앙상블을 가능하게 하는가?

주요 결과

• $\text{FreeTickets}$는 ResNet-50 기반으로 ImageNet에서 96.3%의 Top-1 정확도를 달성하며, 밀도 있는 앙상블을 능가한다. 학습 FLOPs는 1/5에 불과하다.
• 단일 밀도 모델보다 학습 FLOPs를 50% 감소시켰으며, 이는 앙상블임에도 불구하고 성립한다.
• OoD 탐지에서 $ ext{FreeTickets}$ (EDST 앙상블)는 SVHN을 OoD로 간주할 때 CIFAR-10에서 ROC-AUC 0.9658을 기록했으며, 단일 밀도 모델(0.9655)을 능가한다.
• 적대적 공격에 대한 내성성에서 $ ext{FreeTickets}$는 CIFAR-10에서 평균 정확도 40.35%를 달성했으며, 밀도 있는 모델(44.20%)보다 최소/평균/최대 정확도 모두 뛰어나다.
• 정적 희소 모델 앙상블은 DST 기반 앙상블보다 적대적 내성성에서 승승을 거두었으며, 강력한 일반화 능력을 보여준다.