[논문 리뷰] Campfire: Compressible, Regularization-Free, Structured Sparse Training for Hardware Accelerators

Noah Gamboa, Kais Kudrolli외 2명|arXiv (Cornell University)|2020. 01. 09.

Adversarial Robustness in Machine Learning참고 문헌 36인용 수 8

한 줄 요약

Campfire는 커널, 필터, 병합된 다양성의 정밀도에서 고정된 프루닝 마스크를 통해 훈련 초반에 구조적 희소성을 강제하는 정규화가 없는 구조적 희소 훈련 방법을 제안한다. 이는 ImageNet에서 ResNet-50에 대해 70%의 희소성을 달성하면서 정확도 손실이 1% 미만이며, FGSM 적대적 공격에 대해서도 강건성을 유지한다.

ABSTRACT

This paper studies structured sparse training of CNNs with a gradual pruning technique that leads to fixed, sparse weight matrices after a set number of epochs. We simplify the structure of the enforced sparsity so that it reduces overhead caused by regularization. The proposed training methodology Campfire explores pruning at granularities within a convolutional kernel and filter. We study various tradeoffs with respect to pruning duration, level of sparsity, and learning rate configuration. We show that our method creates a sparse version of ResNet-50 and ResNet-50 v1.5 on full ImageNet while remaining within a negligible <1% margin of accuracy loss. To ensure that this type of sparse training does not harm the robustness of the network, we also demonstrate how the network behaves in the presence of adversarial attacks. Our results show that with 70% target sparsity, over 75% top-1 accuracy is achievable.

연구 동기 및 목표

• 하드웨어 가속기용 희소 훈련에서 정규화의 높은 계산 및 메모리 오버헤드를 해결한다.
• 정확도나 강건성을 훼손하지 않으면서 CNN에서 높은 희소성(60–70%)을 달성한다.
• 효율적이고 고정된 구조적 희소성을 초기 훈련 단계부터 제공하여 하드웨어 압축과 계산 가속을 지원한다.
• 비정규적인 계산을 최소화하여 기존 가속기 아키텍처와의 호환성을 확보함으로써 구조적 희소성을 보장한다.
• 정확도 지표를 넘어서 실제 적용 가능성 확보를 위해 적대적 강건성을 평가한다.

제안 방법

• 20–30 에포크 동안의 초기 '프루닝 시기' 동안 크기 기반 프루닝을 적용하여 나머지 훈련 기간 동안 고정된 희소 가중치 마스크를 영구적으로 설정한다.
• 3가지 정밀도 수준에서 구조적 희소성을 강제한다: 컨볼루션 커널 창 내부(R×S), 특징 맵 간 전역(CK), 병합된 구성.
• 정규화 항목(예: 노름 기반 페널티)을 제거하여 계산 오버헤드를 감소시키고 하드웨어 효율성을 향상시킨다.
• 희소성 패턴을 초기에 고정함으로써 일관된 가중치 압축을 허용하고 하드웨어가 0 곱셈을 건너뛸 수 있도록 한다.
• 모든 훈련 기간 동안 고정된 희소성 마스크를 사용하여 일관된 파rameter 예산을 유지하고 메모리 액세스 오버헤드를 줄인다.
• 프루닝 이전에 최소 20 에포크 동안의 조밀한 훈련을 통해 모델 용량과 수렴 정확도를 유지한다.

실험 결과

연구 질문

• RQ1 정규화 없이도 초기 훈련 단계에서 구조적 희소성을 강제하여 하드웨어 계산 오버헤드를 줄일 수 있는가?
• RQ2 정확도를 유지하기 위해 프루닝 지속 기간, 희소성 수준, 학습률 스케줄 간 최적의 트레이드오프는 무엇인가?
• RQ3 초기 고정 희소성은 밀집 모델 대비 적대적 강건성에 어떤 영향을 미치는가?
• RQ4 ImageNet에서 정확도 저하를 최소화하면서 희소성을 60–70%까지 증가시킬 수 있는가?
• RQ5 고정된 구조적 희소성은 재압축 또는 해제압축 오버헤드 없이 효율적인 하드웨어 가속을 가능하게 하는가?

주요 결과

• Campfire는 ImageNet에서 ResNet-50에 대해 밀집 기준 모델 대비 1% 미만의 top-1 정확도 손실로 70%의 희소성을 달성한다.
• 이 방법은 FGSM 적대적 공격에 대해 강건성을 유지하며, 적대적 조건에서 희소 모델이 밀집 모델과 유사한 성능을 보인다.
• 최소 20 에포크까지 프루닝을 연기하는 것이 높은 수렴 정확도를 확보하는 데 필수적이며, 초기 조밀한 훈련의 중요성을 입증한다.
• 프루닝 이후 추가 10 에포크의 훈련은 약 1%의 정확도 향상을 가져와 희소성에 기인한 성능 손실를 상쇄한다.
• 제안된 윈도우, CK, 병합된 희소성 방식은 고정된 구조적 희소성 패턴 덕분에 효율적인 하드웨어 매핑을 가능하게 한다.
• 정규화 없이 훈련함으로써 계산의 비정규성과 에너지 효율적이고 가속기 우수한 추론 및 훈련을 지원한다.