[論文レビュー] Discovering Robust Convolutional Architecture at Targeted Capacity: A Multi-Shot Approach

Xuefei Ning, Junbo Zhao+5 more|arXiv (Cornell University)|Dec 22, 2020

Adversarial Robustness in Machine Learning参考文献 35被引用数 5

ひとこと要約

本稿では、特定のFLOPs予算内で敵対的に頑健な畳み込みニューラルネットワークアーキテクチャを発見するためのマルチショットニューラルアーキテクチャサーチ（NAS）手法を提案する。複数の異なる容量を持つスープーネットからの補間された報酬を活用することで、ワンショットNASにおける容量不一致問題を克服し、特定のFLOPs（例：1560M、2000M）における頑健なモデルのターゲット検索を可能にする。MSRobNet-2000はRobNet-largeよりも4%-7%高い頑健性を達成し、MSRobNet-1560はクリーン精度で2.3%、PGD-7精度で1.3%上回る。

ABSTRACT

Convolutional neural networks (CNNs) are vulnerable to adversarial examples, and studies show that increasing the model capacity of an architecture topology (e.g., width expansion) can bring consistent robustness improvements. This reveals a clear robustness-efficiency trade-off that should be considered in architecture design. In this paper, considering scenarios with capacity budget, we aim to discover adversarially robust architecture at targeted capacities. Recent studies employed one-shot neural architecture search (NAS) to discover robust architectures. However, since the capacities of different topologies cannot be aligned in the search process, one-shot NAS methods favor topologies with larger capacities in the supernet. And the discovered topology might be suboptimal when augmented to the targeted capacity. We propose a novel multi-shot NAS method to address this issue and explicitly search for robust architectures at targeted capacities. At the targeted FLOPs of 2000M, the discovered MSRobNet-2000 outperforms the recent NAS-discovered architecture RobNet-large under various criteria by a large margin of 4%-7%. And at the targeted FLOPs of 1560M, MSRobNet-1560 surpasses another NAS-discovered architecture RobNet-free by 2.3% and 1.3% in the clean and PGD-7 accuracies, respectively. All codes are available at https://github.com/walkerning/aw\_nas.

研究の動機と目的

• 固定容量予算下でのCNNアーキテクチャ設計における頑健性と効率のトレードオフを解消すること。
• ワンショットNASにおける容量不一致問題に起因する、大規模トポロジーが好まれる問題を克服すること。これはスープーネットの容量バランスの不均衡に起因する。
• 幅拡張効果を明示的にモデル化することで、特定のFLOPs（例：1560M、2000M）における敵対的頑健アーキテクチャのターゲット検索を可能にすること。
• FGSMを頑健性評価の高速かつ信頼性の高いプロキシとして用いることで、検索効率を向上させること。
• マルチショット報酬推定が、スープーネットの性能と最終モデル性能のギャップを埋められることを検証すること。

提案手法

• 異なる初期チャネル数（例：24、44、64）を持つ複数のスープーネットを構築し、異なるモデル容量を表現する。
• 各スープーネットからのワンショット報酬を用いて、補間または外挿によって各アーキテクチャのマルチショット報酬を推定する。
• 幅拡張効果が頑健性に与える影響をモデル化するために、対数累乗関数族を用いる外挿法を適用する。
• PGD-20 や PGD-100 といったより正確な頑健性指標よりも高速かつ信頼性の高いプロキシとして、FGSMベースの報酬を用いる。
• マルチショットで推定された報酬を用いてNASを実行し、特定のFLOPsに最適化されたアーキテクチャを発見する。
• LOO（leave-one-out）ランク相関を用いて検証し、マルチショット報酬が真の頑健性と良好に相関していることを確認する。

実験結果

リサーチクエスチョン

• RQ1 ターゲットFLOPsにおける頑健なアーキテクチャ探索において、マルチショットNASはワンショットNASにおける容量不一致問題を効果的に緩和できるか？
• RQ2 FGSMをプロキシ報酬として用いることで、PGD-20 や PGD-100 といったより正確な頑健性基準と一貫したランク付けが得られるか？
• RQ3 マルチショット報酬推定戦略は、幅拡張後のスープーネット評価性能と最終モデル性能のギャップを埋められるか？
• RQ4 本手法は、ワンショットNASおよび手動アーキテクチャ設計と比較して、固定FLOPs予算下での頑健性において優れているか？
• RQ5 発見されたアーキテクチャは、CIFAR-100、SVHN、Tiny-ImageNetといった異なるデータセット間で一般化可能か？

主な発見

• 2000M FLOPsで、MSRobNet-2000はPGD-100精度31.6%を達成し、複数の頑健性基準でRobNet-largeを4%-7%上回った。
• 1560M FLOPsで、MSRobNet-1560はPGD-20精度31.7%、PGD-100精度31.5%を達成し、クリーン精度で2.3%、PGD-100精度で1.3%上回った。
• マルチショット報酬推定戦略は、他のスープーネットからのワンショット報酬よりも高いLOOランク相関（τj）を達成し、容量ギャップを埋められる能力を裏付けた。
• トランスファーベースのブラックボックス攻撃において、MSRobNetsはベースラインモデルよりも攻撃の転送が困難であることが示され、より強い頑健性を示した。
• マルチショット報酬を用いた予測ベースの検索はわずか1.3 GPU日で完了し、同じターゲット容量下でワンショットNASで発見されたものよりも優れたトポロジーを発見した。
• 関数族選択の結果、対数累乗関数が最も高いLOO相関を示し、幅拡張効果のモデル化に適していることが検証された。