[논문 리뷰] Rethinking Non-idealities in Memristive Crossbars for Adversarial Robustness in Neural Networks

Abhiroop Bhattacharjee, Priyadarshini Panda|arXiv (Cornell University)|2020. 08. 25.

Adversarial Robustness in Machine Learning참고 문헌 16인용 수 18

한 줄 요약

이 논문은 메모리스티브 크로스바의 내재된 비이상적인 특성—예를 들어 장치 변동성과 인터커넥트 파라사이트닉스—가 추가 최적화 없이도 딥 네트워크(DNN)의 적대적 공격에 대한 강건성을 자연스럽게 향상시킨다는 것을 입증한다. VGG8 및 VGG16 네트워크를 크로스바에 매핑했을 때, 소프트웨어 기반 DNN보다 FGSM 및 PGD 공격에 대해 >10–20% 더 높은 강건성을 확보하며, 여러 최신 방어 기법을 능가한다.

ABSTRACT

Deep Neural Networks (DNNs) have been shown to be prone to adversarial attacks. Memristive crossbars, being able to perform Matrix-Vector-Multiplications (MVMs) efficiently, are used to realize DNNs on hardware. However, crossbar non-idealities have always been devalued since they cause errors in performing MVMs, leading to computational accuracy losses in DNNs. Several software-based defenses have been proposed to make DNNs adversarially robust. However, no previous work has demonstrated the advantage conferred by the crossbar non-idealities in unleashing adversarial robustness. We show that the intrinsic hardware non-idealities yield adversarial robustness to the mapped DNNs without any additional optimization. We evaluate the adversarial resilience of state-of-the-art DNNs (VGG8 & VGG16 networks) using benchmark datasets (CIFAR-10, CIFAR-100 & Tiny Imagenet) across various crossbar sizes. We find that crossbar non-idealities unleash significantly greater adversarial robustness (>10-20%) in crossbar-mapped DNNs than baseline software DNNs. We further assess the performance of our approach with other state-of-the-art efficiency-driven adversarial defenses and find that our approach performs significantly well in terms of reducing adversarial loss.

연구 동기 및 목표

• 메모리스틱 크로스바의 하드웨어 비이상성이 DNN의 적대적 강건성을 의도치 않게 향상시킬 수 있는지 조사하기.
• 장치 수준 및 회로 수준의 비이상성이 다양한 DNN 아키텍처와 데이터셋에서 적대적 내성에 미치는 영향 평가하기.
• 크로스바 매핑 DNN의 강건성을 최신 소프트웨어 기반 적대적 방어 기법과 비교하여, 특히 적대적 손실 감소 측면에서 평가하기.
• 비이상성과 효율성 중심 기법(예: 양자화, 픽셀 이산화)을 조합했을 때 강건성에 미치는 영향 분석하기.
• 비이상성을 계산 오류로 보는 인식을, 뉴로모픽 하드웨어의 적대적 보안 자산으로 재정의하기.

제안 방법

• 구성 가능한 비이상성을 가진 저항성 크로스바 어레이에 VGG8 및 VGG16 네트워크를 매핑하기 위한 파이토치 기반 프레임워크 개발.
• 장치 수준(예: 시냅스 저항 변동성) 및 회로 수준(예: 인터커넥트 파라사이트닉스, 드라이버/센서 저항) 비이상성을 MVM 계산 파이프라인에 통합.
• FGSM 및 PGD 공격을 사용하여 강건성 평가하고, 다양한 편향 크기(ε = 0.1에서 0.3)에서 적대적 손실(Adversarial Loss, AL) 측정.
• 다양한 크로스바 크기(16×16에서 32×32) 및 데이터셋(CIFAR-10, CIFAR-100, Tiny ImageNet)에서 강건성 평가.
• 소프트웨어 전용 방어 기법(4비트 픽셀 이산화, QUANOS 기반 양자화 포함)과 비교하여 하드웨어 비이상성의 기여도를 분리 분석.
• R_MIN 등의 핵심 파라미터가 적대적 내성에 미치는 영향 분석.

실험 결과

연구 질문

• RQ1 메모리스틱 크로스바의 내재된 비이상성이 추가 최적화 없이도 DNN의 적대적 강건성을 향상시킬 수 있는가?
• RQ2 FGSM 및 PGD 공격 하에서 크로스바 매핑 DNN의 적대적 강건성은 베이스라인 소프트웨어 DNN보다 어떻게 다른가?
• RQ3 하드웨어 비이상성과 효율성 중심 기법(예: 양자화 또는 픽셀 이산화)을 조합했을 때 적대적 내성에 어떤 영향을 미치는가?
• RQ4 다양한 크로스바 크기와 장치 파라미터(예: R_MIN)는 비이상성이 제공하는 강건성 수준에 어떻게 영향을 미치는가?
• RQ5 비이상성의 존재가 QUANOS나 4비트 이산화와 같은 최신 소프트웨어 기반 방어 기법보다 더 강건한가?

주요 결과

• 모든 평가된 데이터셋과 공격 유형에서 크로스바 매핑 DNN는 베이스라인 소프트웨어 DNN보다 >10–20% 더 높은 적대적 강건성을 보였다.
• CIFAR-100에서 VGG16에 대한 FGSM 공격 시, 비이상성은 4비트 픽셀 이산화 및 QUANOS를 포함한 모든 최신 방어 기법보다 약 ~15% 더 높은 적대적 손실 감소를 기록했다.
• PGD 공격 하에서는 모든 방법 중 두 번째로 높은 순위를 기록했으며, 4비트 이산화보다 약 ~12% 더 우수하고 QUANOS보다 약 ~18–22% 더 뛰어났다.
• 4비트 픽셀 이산화와 크로스바 비이상성의 조합은 ε = 0.3일 때 가장 높은 강건성을 보였으며, 고편향 수준에서 상호보완적 효과가 있음을 시사했다.
• QUANOS와 비이상성을 조합했을 때, 하드웨어에 매핑된 전체 정밀도 모델 대비 적대적 손실이 약 ~15–30% 감소했으며, 이는 누적적인 이점임을 보여주었다.
• 비이상성만으로도 ε = 0.1일 때 4비트 이산화보다 더 높은 강건성을 확보했으며, 이 효과는 다양한 크로스바 차원과 네트워크 아키텍처 전반에서 일관되게 나타났다.