[논문 리뷰] Energy-Latency Attacks via Sponge Poisoning

Antonio Emanuele Ciná, Ambra Demontis외 3명|arXiv (Cornell University)|2022. 03. 14.

Adversarial Robustness in Machine Learning인용 수 11

한 줄 요약

이 논문은 DNN의 에너지 소비와 지연 시간을 증가시켜 ASIC 가속기의 기능을 무력화시키는 새로운 훈련 시간 공격인 스폰지 포isoning을 소개한다. 이 공격은 훈련 중에 오직 몇몇 모델 업데이트만 조작함으로써 이루어지며, 모델 정확도는 유지하면서 모든 테스트 입력에 대해 뉴런의 활성화를 최대화한다. 이는 외주 및 연합 학습 환경에서 매우 효과적이다.

ABSTRACT

Sponge examples are test-time inputs optimized to increase energy consumption and prediction latency of deep networks deployed on hardware accelerators. By increasing the fraction of neurons activated during classification, these attacks reduce sparsity in network activation patterns, worsening the performance of hardware accelerators. In this work, we present a novel training-time attack, named sponge poisoning, which aims to worsen energy consumption and prediction latency of neural networks on any test input without affecting classification accuracy. To stage this attack, we assume that the attacker can control only a few model updates during training -- a likely scenario, e.g., when model training is outsourced to an untrusted third party or distributed via federated learning. Our extensive experiments on image classification tasks show that sponge poisoning is effective, and that fine-tuning poisoned models to repair them poses prohibitive costs for most users, highlighting that tackling sponge poisoning remains an open issue.

연구 동기 및 목표

• 기계 학습 보안의 새로운 취약점을 특정하고 악용하는 것: 훈련 시간 포isoning으로 에너지 소비와 지연 시간을 증가시키는 것.
• 공격자가 훈련 중에 오직 몇몇 기울기 업데이트만을 미세 조작함으로써 DNN을 손상시킬 수 있음을 입증하는 것.
• 이 공격이 스퍼스티 기반 ASIC 가속기의 이점을 무너뜨린다는 것을 보여주는 것. 이 가속기는 에너지 소비를 줄이기 위해 설계되어 있다.
• 스폰지 포isoning이 모델 활성화에 미치는 영향을 분석하고, ReLU 및 MaxPooling 레이어와 같은 취약한 구성 요소를 특정하는 것.
• 대응 조치의 실현 가능성을 평가하여, 정제화가 대부분의 사용자에게 실용적으로 적용하기 어려운 비용이 들 수 있음을 보여주는 것.

제안 방법

• 에너지 소비를 직접적으로 타겟으로 삼기 위해, 훈련 중에 활성화되는 뉴런 수를 정량화하고 최대화하는 새로운 에너지 목적 함수를 제안한다.
• 에너지 목적 함수를 훈련 과정에 통합하여, 공격자가 오직 몇몇 모델 업데이트만 제어할 수 있도록 하는 포isoning 공격을 설계한다.
• 에너지 소비 증가와 함께 유지 또는 향상된 모델 정확도를 균형 잡기 위해 제약 조건이 있는 최적화 프레임워크를 사용한다.
• 활성화의 흐문성에 기반한 에너지 절감 효과를 모델링하기 위해 ASIC 가속기 동작을 미분 가능한 근사치로 활용한다.
• 하드웨어 제약 조건에 맞게 λ와 같은 하이퍼파라미터를 조정하여, 지정된 제한 내에서 에너지 소비를 최대화한다.
• 모델 내부를 분석하여, 포isoning로 인해 뉴런 활성화가 크게 증가하는 데 가장 취약한 구성 요소(예: ReLU, MaxPooling)를 특정한다.

실험 결과

연구 질문

• RQ1 훈련 시간에 포isoning 공격을 설계하여, 모든 테스트 입력에 대해 에너지 소비와 지연 시간을 증가시키면서도 모델 정확도를 손상시키지 않을 수 있는가?
• RQ2 모델 업데이트에 대한 제어를 최소로 가지면서도, 훈련 시간 조작을 통해 스퍼스티 기반 ASIC 가속기의 이점을 우회할 수 있는가?
• RQ3 스폰지 포isoning 하에서 뉴런 활성화가 증가하는 데 가장 취약한 모델 구성 요소는 무엇인가?
• RQ4 공격을 하드웨어에서 제약된 에너지 소비 수준에 맞게 조정할 수 있는가?
• RQ5 기존의 정제 기반 대응 조치는 효과적이거나, 복구를 위해 전면 재학습이 필요할 정도로 비용이 많이 드는가?

주요 결과

• 스폰지 포isoning은 훈련 중에 오직 몇몇 모델 업데이트만 조작함으로써, 모든 테스트 입력에 대해 에너지 소비와 지연 시간을 성공적으로 증가시켰다.
• 이 공격는 스퍼스티 기반 ASIC 가속기를 무력화시켜 거의 완전히 에너지 절감 효과를 상실하게 했다.
• ReLU 및 MaxPooling 레이어는 특히 취약했으며, 포ison된 모델에서 뉴런 활성화 비율이 뚜렷이 높아졌다.
• 공격자가 제어할 수 있는 업데이트 수가 매우 적어도 이 공격은 연합 학습 및 외주 학습 환경에서 실현 가능했다.
• 정제 기반 대응 조치는 계산적으로 매우 비용이 많이 들며 대부분의 사용자에게 실용적이지 않다는 것이 입증되었고, 이는 공격를 전면 재학습 없이 복구하기가 거의 불가능하다는 것을 시사한다.
• 하이퍼파라미터 λ를 조정하여, 지정된 하드웨어 제약 조건 내에서 에너지 소비를 최대화할 수 있도록 공격를 조정할 수 있었다.