[論文レビュー] Multi-shot NAS for Discovering Adversarially Robust Convolutional Neural Architectures at Targeted Capacities.

Xuefei Ning, Junbo Zhao+4 more|arXiv (Cornell University)|Dec 22, 2020

Adversarial Robustness in Machine Learning参考文献 27被引用数 4

ひとこと要約

本稿では、複数のスーパーネットを介した内部拡張を用いて報酬を推定することで、所定のFLOPsで敵対的に頑健なCNNアーキテクチャを発見するマルチショットNASフレームワークを提案する。容量に整合した探索が可能となる。1560M FLOPsにおいて、MSRobNet-1560はクリーンな精度84.8%、PGD100の頑健精度52.9%を達成し、同程度の容量制約下でのRobNet-freeを上回る性能を示した。

ABSTRACT

Convolutional neural networks (CNNs) are vulnerable to adversarial examples, and studies show that increasing the model capacity of an architecture topology (e.g., width expansion) can bring consistent robustness improvements. This reveals a clear robustness-efficiency trade-off that should be considered in architecture design. Recent studies have employed one-shot neural architecture search (NAS) to discover adversarially robust architectures. However, since the capacities of different topologies cannot be easily aligned during the search process, current one-shot NAS methods might favor topologies with larger capacity in the supernet. And the discovered topology might be sub-optimal when aligned to the targeted capacity. This paper proposes a novel multi-shot NAS method to explicitly search for adversarially robust architectures at a certain targeted capacity. Specifically, we estimate the reward at the targeted capacity using interior extra-polation of the rewards from multiple supernets. Experimental results demonstrate the effectiveness of the proposed method. For instance, at the targeted FLOPs of 1560M, the discovered MSRobNet-1560 (clean 84.8%, PGD100 52.9%) outperforms the recent NAS-discovered architecture RobNet-free (clean 82.8%, PGD100 52.6%) with similar FLOPs. Codes are available at this https URL.

研究の動機と目的

• 容量に特化した探索を可能にするために、CNNアーキテクチャ設計における頑健性と効率性のトレードオフを解消すること。
• スーパーネットの容量の不整合による制限を克服し、ワンショットNASが高容量のトポロジーに偏る問題を解決すること。
• 複数のスーパーネットを用いて、特定のターゲット容量における頑健性報酬を推定する手法を開発すること。
• 所定期限の計算リソース予算で、両方の頑健性と効率性を満たすアーキテクチャを発見すること。
• RobNet-freeのような既存のNASで発見されたモデルを上回り、同程度のFLOPsでより高い頑健性と精度を達成すること。

提案手法

• 異なる容量レベルを持つ複数のスーパーネットを用いて、容量に配慮したアーキテクチャ探索を実現する。
• 特定のスーパーネットに直接存在しないターゲット容量における報酬（例：頑健な精度）を推定するために、内部拡張を用いる。
• 幅や深さが異なる複数のスーパーネットにおける性能の傾向に基づいて報酬推定を行う。
• ターゲットFLOPsにおける推定報酬を最大化するアーキテクチャパスの探索プロセスを実施する。
• 容量が整合されたアーキテクチャ間での公平な比較と最適化を可能にする。
• 最終的なアーキテクチャは、ターゲットFLOPsで訓練・評価され、頑健性と精度の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 マルチショットNASは、特定のターゲットFLOPsにおける敵対的頑健なCNNの発見を改善できるか？
• RQ2 複数のスーパーネットにわたる報酬の内部拡張は、ワンショットNASに比べて、より容量に整合したアーキテクチャ探索を可能にするか？
• RQ3 提案手法は、同程度のFLOPsにおける既存のNASで発見されたモデル（例：RobNet-free）を、クリーン精度および頑健精度の両面で上回ることができるか？
• RQ4 容量が正確な計算リソース予算に整合された場合、発見されたアーキテクチャの性能はどのように変化するか？
• RQ5 ワンショットNASにおける容量の不整合は、高容量で非最適なトポロジーに探索を偏らせるほど、どの程度の影響を及ぼすか？

主な発見

• 1560M FLOPsにおいて、MSRobNet-1560はクリーン精度84.8%、PGD100の頑健精度52.9%を達成し、RobNet-freeを上回った。
• RobNet-freeは同程度のFLOPsでクリーン精度82.8%、PGD100の頑健精度52.6%を達成しており、提案手法による性能向上を確認した。
• マルチショットNAS手法は、内部拡張を用いてターゲット容量における報酬を効果的に推定し、公平で正確な探索を可能にした。
• 探索中に容量を整合させることで、ワンショットNASで観察された高容量トポロジーへのバイアスを緩和した。
• 発見されたアーキテクチャは、さまざまなFLOPレベルにおいて一貫した頑健性の向上を示し、本手法のスケーラビリティを裏付けた。
• 本手法は、所定期限の計算リソース予算で、効率的かつ効果的な頑健なアーキテクチャの発見を可能にした。