[論文レビュー] Rethinking Non-idealities in Memristive Crossbars for Adversarial Robustness in Neural Networks

Abhiroop Bhattacharjee, Priyadarshini Panda|arXiv (Cornell University)|Aug 25, 2020

Adversarial Robustness in Machine Learning参考文献 16被引用数 18

ひとこと要約

この論文は、メモリスティブクロスバーにおける内在的な非理想性—例えばデバイスのばらつきやインターコネクトパラシティックス—が、追加の最適化を施さずに深層ニューラルネットワーク（DNN）における adversarial な耐性を自然に向上させることを示している。VGG8およびVGG16ネットワークをクロスバーにマッピングした場合、ソフトウェアベースのDNNと比較してFGSMおよびPGD攻撃に対して10–20%以上の高い耐性を示し、多数の最先端の防御技術を上回る性能を発揮する。

ABSTRACT

Deep Neural Networks (DNNs) have been shown to be prone to adversarial attacks. Memristive crossbars, being able to perform Matrix-Vector-Multiplications (MVMs) efficiently, are used to realize DNNs on hardware. However, crossbar non-idealities have always been devalued since they cause errors in performing MVMs, leading to computational accuracy losses in DNNs. Several software-based defenses have been proposed to make DNNs adversarially robust. However, no previous work has demonstrated the advantage conferred by the crossbar non-idealities in unleashing adversarial robustness. We show that the intrinsic hardware non-idealities yield adversarial robustness to the mapped DNNs without any additional optimization. We evaluate the adversarial resilience of state-of-the-art DNNs (VGG8 & VGG16 networks) using benchmark datasets (CIFAR-10, CIFAR-100 & Tiny Imagenet) across various crossbar sizes. We find that crossbar non-idealities unleash significantly greater adversarial robustness (>10-20%) in crossbar-mapped DNNs than baseline software DNNs. We further assess the performance of our approach with other state-of-the-art efficiency-driven adversarial defenses and find that our approach performs significantly well in terms of reducing adversarial loss.

研究の動機と目的

• メモリスティブクロスバーにおけるハードウェア非理想性が、追加の最適化を施さずにDNNにおけるadversarial耐性を意図せず向上させるかどうかを調査すること。
• 異なるDNNアーキテクチャおよびデータセットにおいて、デバイスレベルおよび回路レベルの非理想性がadversarial耐性に与える影響を評価すること。
• クロスバーにマッピングされたDNNの耐性を、最先端のソフトウェアベースのadversarial防御と比較し、特にadversarial loss低減の観点から評価すること。
• 非理想性と効率性指向技術（例：量子化、ピクセルの離散化）を組み合わせた場合の耐性への影響を分析すること。
• 非理想性を計算上の欠陥ではなく、神経形状ハードウェアにおけるadversarialセキュリティの資産と再評価すること。

提案手法

• 可変な非理想性を備えたリジスタンスクロスバー配列にVGG8およびVGG16ネットワークをマッピングするためのPyTorchベースのフレームワークを開発した。
• MVM計算パイプラインに、デバイスレベル（例：シナプス抵抗のばらつき）および回路レベル（例：インターコネクトパラシティクス、ドライバ/センサ抵抗）の非理想性を統合した。
• FGSMおよびPGD攻撃を用いて耐性を評価し、摂動の大きさ（ε = 0.1 から 0.3）を変化させながらadversarial loss（AL）を測定した。
• クロスバーのサイズ（16×16 から 32×32）およびデータセット（CIFAR-10、CIFAR-100、Tiny ImageNet）を複数用いて耐性を評価した。
• ソフトウェアオンリーディフェンス（4ビットピクセル離散化、QUANOSベースの量子化を含む）と比較し、ハードウェア非理想性の貢献を分離した。
• R_MINなどの主要パラメータがadversarial耐性に与える影響を分析した。

実験結果

リサーチクエスチョン

• RQ1 追加の最適化を施さずに、メモリスティブクロスバーの内在的非理想性がDNNにおけるadversarial耐性を向上させることができるか？
• RQ2 FGSMおよびPGD攻撃下で、クロスバーにマッピングされたDNNのadversarial耐性は、ベースラインソフトウェアDNNと比べてどうなるか？
• RQ3 ハードウェア非理想性と、量子化やピクセル離散化などの効率性指向技術を組み合わせた場合、adversarial耐性にどのような影響を与えるか？
• RQ4 クロスバーのサイズやデバイスパラメータ（例：R_MIN）を変化させた場合、非理想性が与える耐性の程度にどのような影響を与えるか？
• RQ5 非理想性の存在により、QUANOS や 4ビット離散化といった最先端のソフトウェアベースの防御よりもDNNがより耐性を持つようになるか？

主な発見

• 評価されたすべてのデータセットおよび攻撃タイプにおいて、クロスバーにマッピングされたDNNは、ベースラインソフトウェアDNNと比較して10–20%以上の高いadversarial耐性を示した。
• CIFAR-100を用いたVGG16におけるFGSM攻撃では、非理想性が4ビットピクセル離散化やQUANOSを含む、他のすべての最先端防御を上回り、adversarial loss低減で約15%の優位性を示した。
• PGD攻撃下では、非理想性がすべての手法の中で2番目に高い性能を示し、4ビット離散化を約12%、QUANOSを約18–22%上回った。
• 4ビットピクセル離散化とクロスバー非理想性の組み合わせは、ε = 0.3の高摂動レベルで最高の耐性を発揮し、高次元での相乗効果を示した。
• QUANOSと非理想性を組み合わせた場合、ハードウェア上にマッピングされたフル精度モデルと比較して、adversarial lossを約15–30%低減した。これは、追加的利点を示している。
• 非理想性単体でも、ε = 0.1の条件下で4ビット離散化を上回る耐性を発揮し、クロスバーの寸法やネットワークアーキテクチャに関係なく一貫した効果を示した。