[논문 리뷰] Sparsity Winning Twice: Better Robust Generalization from More Efficient Training

Tianlong Chen, Zhenyu Zhang외 5명|arXiv (Cornell University)|2022. 02. 20.

Adversarial Robustness in Machine Learning인용 수 8

한 줄 요약

이 논문은 두 가지 방법—정적 스파arsity인 Early Bird(로버스트 버드) 티켓과 동적 스파arsity인 플라잉 버드(FB) 및 FB+—를 사용하여 동시에 강건 일반화 갭과 학습 비용을 줄이는 희소 적대적 훈련을 제안한다. CIFAR-100에서 ResNet-18을 사용할 경우, 강건 일반화 갭을 최대 34.44% 작게 하고 학습 FLOP를 87.83% 감소시키며, 강건성 및 표준 정확도를 유지하거나 향상시킨다.

ABSTRACT

Recent studies demonstrate that deep networks, even robustified by the state-of-the-art adversarial training (AT), still suffer from large robust generalization gaps, in addition to the much more expensive training costs than standard training. In this paper, we investigate this intriguing problem from a new perspective, i.e., injecting appropriate forms of sparsity during adversarial training. We introduce two alternatives for sparse adversarial training: (i) static sparsity, by leveraging recent results from the lottery ticket hypothesis to identify critical sparse subnetworks arising from the early training; (ii) dynamic sparsity, by allowing the sparse subnetwork to adaptively adjust its connectivity pattern (while sticking to the same sparsity ratio) throughout training. We find both static and dynamic sparse methods to yield win-win: substantially shrinking the robust generalization gap and alleviating the robust overfitting, meanwhile significantly saving training and inference FLOPs. Extensive experiments validate our proposals with multiple network architectures on diverse datasets, including CIFAR-10/100 and Tiny-ImageNet. For example, our methods reduce robust generalization gap and overfitting by 34.44% and 4.02%, with comparable robust/standard accuracy boosts and 87.83%/87.82% training/inference FLOPs savings on CIFAR-100 with ResNet-18. Besides, our approaches can be organically combined with existing regularizers, establishing new state-of-the-art results in AT. Codes are available in https://github.com/VITA-Group/Sparsity-Win-Robust-Generalization.

연구 동기 및 목표

• 표준 훈련 및 적대적 훈련(AT)에서 큰 강건 일반화 갭과 높은 계산 비용 문제를 해결한다.
• AT 동안 구조적 스파arsity를 도입하면 강건 일반화와 학습 효율성이 향상되는지 조사한다.
• 로또 티켓 가설에 영감을 받아, 적대적 훈련에서 희소 서브넷(워닝 티켓)의 존재성과 유용성을 탐색한다.
• 고정된 스파arsity 수준을 유지하면서 학습 도중 연결성 패턴을 적응적으로 조정하는 동적 스파arsity 훈련 방법을 개발한다.
• 스파arsity가 강건 오버피팅을 완화하고 정확도를 희생시키지 않은 채 일반화를 향상시키는 정규화 요소로 기능할 수 있음을 입증한다.

제안 방법

• 표준 훈련 후 몇 에포크 만에 한 번의 프루닝을 통해 비용 효율적인 임계 희소 서브넷(로버스트 버드 티켓)을 식별한다. 이는 반복적 크기 기반 프루닝을 회피한다.
• 이러한 사전 식별된 희소 서브넷을 적대적 훈련에 적용하여 효율적이고 강건한 모델 훈련을 가능하게 한다.
• 고정된 스파arsity 비율을 유지하면서 가중치와 연결성 패턴을 동시에 최적화하는 동적 스파arsity 방법인 플라잉 버드(FB)를 도입한다.
• 학습 도중 네트워크 용량(스파arsity 수준)을 적응적으로 조정하는 플라잉 버드+(FB+)를 제안한다. 이는 강건 일반화를 최적화한다.
• 낮은 손실와 빠른 수렴을 유지하기 위해 크기 기반 프루닝과 기울기 기반 연결성 증가를 사용한다.
• 기존 정규화 기법과 적대적 훈련 프레임워크(PGD-AT, TRADES 등)에 제안된 방법을 통합하여 성능 향상을 이룬다.

실험 결과

연구 질문

• RQ1 적대적 훈련 중 구조적 스파arsity 도입이 강건 또는 표준 정확도를 떨어뜨리지 않고 강건 일반화 갭을 줄일 수 있는가?
• RQ2 로또 티켓 가설에 기반한 초기 버드 티켓(early bird tickets)으로 식별된 희소 서브넷이 적대적 훈련에서 여전히 강건성을 유지하는가?
• RQ3 동적 스파arsity 훈련(플라잉 버드)이 정적 스파arsity보다 더 강건 일반화 갭을 줄일 수 있는가?
• RQ4 적응형 스파arsity 조정(플라잉 버드+)이 고정 스파arsity 또는 밀도 모델보다 더 나은 강건 일반화를 이끌어내는가?
• RQ5 제안된 희소 훈련 방법은 기존 정규화 기법이나 효율적 훈련 기법(예: 프리 AT)과 효과적으로 조합되어 추가적인 효율성 향상을 이룰 수 있는가?

주요 결과

• ResNet-18을 사용한 CIFAR-100에서 제안된 방법은 강건 일반화 갭을 34.44% 감소시키고, 강건 오버피팅을 4.02% 감소시켰다.
• 80% 스파arsity 조건에서 플라잉 버드+는 학습과 추론 모두에서 각각 87.83%, 87.82%의 FLOP 절감을 달성했으며, WideResNet-34-10에서 강건 일반화 갭을 13.14% 감소시켰다.
• 플라잉 버드+는 OMP 기반 프루닝 대비 4.49% 더 좁은 강건 일반화 갭과 1.54% 높은 강건 정확도를 확보했으며, 학습 FLOPs는 87.58% 줄였다.
• 단지 몇 에포크의 표준 훈련만으로 유도된 로버스트 버드 티켓은 계산 비용을 크게 줄이고 강건 일반화를 향상시키는 적대적 훈련을 가능하게 한다.
• 제안된 방법은 밀도 모델 기반 PGD-AT 기준보다 강건성 및 표준 정확도를 유지하거나 향상시키며, 상당한 FLOP 감소를 이룬다.
• 이 방법들은 프리 적대적 훈련과 수직적(orthogonal)이며, 외부 데이터나 보조 입력 없이도 효율성을 추가로 향상시키기 위해 함께 사용할 수 있다.