[論文レビュー] Neural Architecture Dilation for Adversarial Robustness

Yanxi Li, Zhaohui Yang+2 more|arXiv (Cornell University)|Aug 16, 2021

Adversarial Robustness in Machine Learning参考文献 34被引用数 10

ひとこと要約

本稿では、事前学習済みCNNのアーリアスティックな耐性を最小限の精度低下で向上させるために、NADAR（Neural Architecture Dilation for Adversarial Robustness）を提案する。FLOPs制約下で標準的精度とアーリアスティックな精度のそれぞれ別の目的関数を最適化することで、CIFAR-10およびImageNetで最先端のトレードオフ性能を達成する。

ABSTRACT

With the tremendous advances in the architecture and scale of convolutional neural networks (CNNs) over the past few decades, they can easily reach or even exceed the performance of humans in certain tasks. However, a recently discovered shortcoming of CNNs is that they are vulnerable to adversarial attacks. Although the adversarial robustness of CNNs can be improved by adversarial training, there is a trade-off between standard accuracy and adversarial robustness. From the neural architecture perspective, this paper aims to improve the adversarial robustness of the backbone CNNs that have a satisfactory accuracy. Under a minimal computational overhead, the introduction of a dilation architecture is expected to be friendly with the standard performance of the backbone CNN while pursuing adversarial robustness. Theoretical analyses on the standard and adversarial error bounds naturally motivate the proposed neural architecture dilation algorithm. Experimental results on real-world datasets and benchmark neural networks demonstrate the effectiveness of the proposed algorithm to balance the accuracy and adversarial robustness.

研究の動機と目的

• 深層CNNにおける標準的精度とアーリアスティックな耐性の間の本質的トレードオフを解消すること。
• 高性能なバックボーンネットワークの標準的精度を損なうことなく、そのアーリアスティックな耐性を向上させること。
• 構造的拡張を通じて体系的に耐性を向上させる神経アーキテクチャ探索手法を開発すること。
• FLOPsに配慮したアーキテクチャ最適化を組み込むことで、計算コストを最小限に抑えること。
• 拡張フレームワークが耐性の上限を向上させることの理論的裏付けを提供すること。

提案手法

• 既存のバックボーンCNNに別個の軽量な拡張ブランチを追加する神経アーキテクチャ拡張フレームワークを導入する。
• 標準的精度とアーリアスティックな耐性のそれぞれ別の目的関数を用いて拡張ネットワークを最適化し、学習プロセスを分離する。
• 元のバックボーンネットワークの性能低下を防ぐために、標準的精度制約を適用する。
• FLOPsに配慮した探索を用いて計算コストを制御し、効率性を維持する。
• 理論的分析を活用して、標準的誤差とアーリアスティック誤差の上限を導出し、制約付き最適化目的関数の設計を正当化する。
• 自然な精度と耐性の両立をバランスさせる修正された目的関数を用いて、PGDベースのアーリアスティック訓練でハイブリッドネットワークを訓練する。

実験結果

リサーチクエスチョン

• RQ1 アーキテクチャの変更は、標準的精度を損なうことなくアーリアスティックな耐性を向上させることができるか？
• RQ2 標準的精度とアーリアスティックな耐性の学習目的関数を分離することで、最終的な耐性-精度トレードオフにどのような影響を与えるか？
• RQ3 FLOPsに配慮したアーキテクチャ探索は、耐性の向上を図りながらも、計算効率をどの程度維持できるか？
• RQ4 提案された拡張フレームワークは、標準ベンチマークで既存のアーリアスティック訓練およびNASベースの防御手法を上回る性能を示すか？
• RQ5 異なるソースネットワークからのブラックボックス攻撃において、本手法はどの程度の性能を示すか？

主な発見

• NADAR-Bは、AutoAttack（APGD-CE、APGD-DLR、FAB、Square）下で59.33％のアーリアスティック精度を達成し、CIFAR-10でPGD-7、FastAT、FreeAT-8を上回った。
• NADAR-Aは、AutoAttack下で58.69％のアーリアスティック精度を達成し、PGD-7を6.74–8.98％上回り、TRADES-6の性能と同等だった。
• ブラックボックス攻撃において、NADAR-BはFGSM、PGD-20、PGD-100、MI-FGSMを含むすべての攻撃タイプで、さまざまなソースネットワークからの攻撃に対しても優れた性能を維持した。
• アブレーションスタディの結果、別個の最適化目的関数と標準的精度制約の両方が不可欠であることが確認された。これらの要素を除外すると、アーリアスティック精度が最大5.5％低下した。
• 標準的精度制約を適用した場合、NADARは85.97％の標準的精度と53.18％のアーリアスティック精度を達成し、制約なしの共同学習を大幅に上回った。
• 本手法は最小限のFLOPsオーバーヘッドを維持しており、アーキテクチャの拡張が顕著な計算コストを増加させることなく耐性を向上させられることを示した。