[논문 리뷰] A Winning Hand: Compressing Deep Networks Can Improve Out-Of-Distribution Robustness

James Diffenderfer, Brian R. Bartoldson외 3명|arXiv (Cornell University)|2021. 06. 16.

Generative Adversarial Networks and Image Synthesis인용 수 12

한 줄 요약

이 논문은 로또 티켓 스타일 프루닝과 양자화가 압축형, 정확형, 강건형(CARD) 딥 네ural 네트워크를 생성할 수 있음을 입증한다—놀랍게도 더 큰 모델보다 분포 외(out-of-distribution, OOD) 강건성을 향상시킨다. 희소이고 이진 가중치를 가진 CARD를 훈련하고, 스펙트럼 유사성 게이팅을 사용하는 도메인 적응형 CARD-Deck을 활용함으로써, 이 방법은 메모리 사용을 줄이며 CIFAR-10-C(표준 96.8%, 강건 92.75%)와 CIFAR-100-C(표준 80.6%, 강건 71.3%)에서 최신 기술 수준(SoTA) 성능을 달성한다.

ABSTRACT

Successful adoption of deep learning (DL) in the wild requires models to be: (1) compact, (2) accurate, and (3) robust to distributional shifts. Unfortunately, efforts towards simultaneously meeting these requirements have mostly been unsuccessful. This raises an important question: Is the inability to create Compact, Accurate, and Robust Deep neural networks (CARDs) fundamental? To answer this question, we perform a large-scale analysis of popular model compression techniques which uncovers several intriguing patterns. Notably, in contrast to traditional pruning approaches (e.g., fine tuning and gradual magnitude pruning), we find that "lottery ticket-style" approaches can surprisingly be used to produce CARDs, including binary-weight CARDs. Specifically, we are able to create extremely compact CARDs that, compared to their larger counterparts, have similar test accuracy and matching (or better) robustness -- simply by pruning and (optionally) quantizing. Leveraging the compactness of CARDs, we develop a simple domain-adaptive test-time ensembling approach (CARD-Decks) that uses a gating module to dynamically select appropriate CARDs from the CARD-Deck based on their spectral-similarity with test samples. The proposed approach builds a "winning hand'' of CARDs that establishes a new state-of-the-art (on RobustBench) on CIFAR-10-C accuracies (i.e., 96.8% standard and 92.75% robust) and CIFAR-100-C accuracies (80.6% standard and 71.3% robust) with better memory usage than non-compressed baselines (pretrained CARDs and CARD-Decks available at https://github.com/RobustBench/robustbench). Finally, we provide theoretical support for our empirical findings.

연구 동기 및 목표

• 압축 기법이 이전에 이러한 특성들을 동시에 구현하지 못한 바가 있음에도 불구하고, 압축형, 정확형, 강건형(CARD) 딥 네ural 네트워크가 존재할 수 있는지 조사하는 것.
• 특히 로또 티켓 스타일 프루닝을 포함한 모델 압축 기법이 OOD 강건성을 해치기보다 향상시킬 수 있는지 확인하는 것.
• CARD의 압축성에 기반한 동적 앙상블 전략을 개발하여 분포 이탈 상황에서의 강건성을 향상시키는 것.
• 압축에 의한 강건성 향상에 대한 경험적 결과를 이론적으로 뒷받침하는 것.

제안 방법

• 고정밀 모델보다 높은 정확도와 강건성을 확보하는 희소이고 이진 가중치를 가진 신경망을 훈련하기 위해 로또 티켓 스타일 프루닝과 양자화를 적용하는 것.
• CARD-Deck 프레임워크 도입: 테스트 입력과의 스펙트럼 유사성 기반으로 게이팅 모듈을 통해 CARD를 동적으로 선택하는 앙성.
• 테스트 샘플과 CARD 간의 스펙트럼 유사성을 사용하여 테스트 시점에서 적응형 모델 선택을 이끌어내는 것.
• 훈련 중에 데이터 증강(예: AugMix, 가우시안)을 활용하여 개별 CARD의 일반화 및 강건성을 향상시키는 것.
• 조건부 워셔스타인 거리(conditional Wasserstein distance)를 사용한 이론적 분석을 통해 앙상블 설정에서 OOD 이탈과 일반화 오차를 경계하는 것.
• 경험적 강건성, 일반화 갭, 분포 이탈 성분으로 분리하는 강건성 분해를 유도하는 것.

실험 결과

연구 질문

• RQ1 모델 압축을 통해 압축형, 정확형, 강건형 딥 네ural 네트워크(CARD)를 구축할 수 있는가?
• RQ2 로또 티켓 스타일 프루닝과 양자화가 OOD 강건성을 악화시키지 않고 오히려 향상시키는가?
• RQ3 기존의 강건성 기법(예: 데이터 증강)을 CARD와 효과적으로 융합하여 성능을 추가로 향상시킬 수 있는가?
• RQ4 CARD의 압축성은 표준 앙상블보다 뛰어난 성능을 내는 효율적이고 적응형 앙성 전략을 가능하게 하는가?
• RQ5 관찰된 압축에 의한 강건성 향상에 대한 이론적 기반은 존재하는가?

주요 결과

• 로또 티켓 스타일 프루닝과 양자화는 더 큰 정밀 모델보다 높거나 동등한 OOD 강건성을 확보하면서도 높은 테스트 정확도를 유지하는 CARD를 생성한다.
• 제안된 CARD-Deck 프레임워크는 CIFAR-10-C에서 표준 정확도 96.8%와 강건 정확도 92.75%를 기록하여 새로운 최신 기술 수준(SoTA)을 달성했으며, 비압축 기준 모델을 초월한다.
• CIFAR-100-C에서는 표준 정확도 80.6%와 강건 정확도 71.3%를 기록했으며, 메모리 사용을 줄이며 다시 한번 새로운 SoTA를 수립한다.
• CARD-Deck의 스펙트럼 유사성 기반 게이팅은 각 오염 유형에 대해 가장 우수한 성능을 보이는 CARD를 일관되게 선택하여 다양한 분포 이탈 상황에서 강건성을 향상시킨다.
• 이론적 분석은 압축에 의한 강건성 향상이 경계된 일반화 오차와 분포 이탈 오차에 기반하며, 경험적 결과를 뒷받침함을 확인한다.
• 이 연구는 CARD 가설을 검증한다: 강건하고 압축된 네트워크는 훈련 초반에 존재하며, 로또 티켓 초기화를 통해 식별 가능하며, 이는 로또 티켓 원리가 강건성으로까지 확장됨을 의미한다.