[論文レビュー] Exploring Architectural Ingredients of Adversarially Robust Deep Neural Networks

Hanxun Huang, Yisen Wang+4 more|arXiv (Cornell University)|Oct 7, 2021

Adversarial Robustness in Machine Learning参考文献 79被引用数 31

ひとこと要約

この論文は、WideResNet の幅と深さの設定が adversarial training の下での敵対的ロバスト性にどのように影響するかを調査し、最終段階の容量を削減することでロバスト性が改善され得ること、固定パラメータ予算の下で最適なアーキテクチャ構成が存在することを示している。

ABSTRACT

Deep neural networks (DNNs) are known to be vulnerable to adversarial attacks. A range of defense methods have been proposed to train adversarially robust DNNs, among which adversarial training has demonstrated promising results. However, despite preliminary understandings developed for adversarial training, it is still not clear, from the architectural perspective, what configurations can lead to more robust DNNs. In this paper, we address this gap via a comprehensive investigation on the impact of network width and depth on the robustness of adversarially trained DNNs. Specifically, we make the following key observations: 1) more parameters (higher model capacity) does not necessarily help adversarial robustness; 2) reducing capacity at the last stage (the last group of blocks) of the network can actually improve adversarial robustness; and 3) under the same parameter budget, there exists an optimal architectural configuration for adversarial robustness. We also provide a theoretical analysis explaning why such network configuration can help robustness. These architectural insights can help design adversarially robust DNNs. Code is available at \url{https://github.com/HanxunH/RobustWRN}.

研究の動機と目的

• アーキテクチャの選択（深さと幅）が adversarial training 下での敵対的ロバスト性に与える影響を理解する。
• より多くのパラメータが必ずロバスト性を向上させるかを識別し、より良いトレードオフのために容量をどこで削減すべきかを検討する。
• WRN、VGG、DenseNet、および NAS-found ネットワークへ移行可能な実用的なアーキテクチャ指針を提供する。

提案手法

• CIFAR-10 で adversarial training を用いた WideResNet-34-10 (WRN-34-10) の幅と深さの設定に対して、細粒度のグリッド探索を行う。
• PGD を用いた SAT で敵対的事例を生成し、PGD-20 に対するロバスト性を評価する。
• ガウス重み付きネットワーク分析を通じて、リプシッツの上限をアーキテクチャと理論的に関連付ける。
• 他のアーキテクチャでもロバストな構成とスケーラビリティを特定するため、幅/深さのパターンを探索する。

実験結果

リサーチクエスチョン

• RQ1 WRN-34-10 における幅と深さの変化は SAT 下での敵対的ロバスト性にどう影響するか？
• RQ2 固定パラメータ予算の下でロバスト性を最大化する最適なアーキテクチャ構成は存在するか？
• RQ3 最後の段階で容量を削減することがロバスト性と Lipschitzness に与える影響は？
• RQ4 発見されたアーキテクチャの洞察は VGG、DenseNet、NAS由来のネットワークなど他のアーキテクチャへ転用できるか？
• RQ5 経験的 Lipschitz性と摂動安定性は、構成間で観測されるロバスト性とどのように関連するか？

主な発見

• 全体的なモデル容量を増やすことが、 adversarial training 下で必ずしもロバスト性の向上を保証するわけではない。
• WRN の最終段階（Stage-3）で容量を削減すると敵対的ロバスト性が向上することがあり、幅の削減が深さの削減よりわずかに効果的である。
• 同じパラメータ予算の下で、より高い敵対的ロバスト性をもたらす最適な深さ/幅の構成が存在する。
• ロバストな構成の規則は VGG、DenseNet、および NAS由来のネットワークへも転用でき、パラメータを減らしても modest なロバスト性の向上を達成する。
• 発見されたロバスト構成を拡大する（例: WRN-34-R）ことでさらにロバスト性を向上させ、容量と Lipschitzness のトレードオフを示す。
• 経験的指標は、最後の段階の容量削減を採用した場合に Lipschitz 定数の低下と摂動安定性の改善を示している。