[論文レビュー] DSRNA: Differentiable Search of Robust Neural Architectures

Ramtin Hosseini, Xingyi Yang+1 more|arXiv (Cornell University)|Dec 11, 2020

Adversarial Robustness in Machine Learning参考文献 48被引用数 9

ひとこと要約

本稿では、残留接続ブロックの線形緩和に基づく認証下限と、ヤコビ行列の行方向L2ノルムに基づくヤコビアンノルム下限という2つの微分可能指標を最大化することで、耐性を明示的に最適化する微分可能ニューラルアーキテクチャ探索手法DSRNAを提案する。実験の結果、CIFAR-10、ImageNet、MNISTの各データセットで最先端の精度を維持しつつ、さまざまな adversarial 攻撃に対して優れた耐性を示し、ベースラインと比較して顕著に高い認証下限を達成した。

ABSTRACT

In deep learning applications, the architectures of deep neural networks are crucial in achieving high accuracy. Many methods have been proposed to search for high-performance neural architectures automatically. However, these searched architectures are prone to adversarial attacks. A small perturbation of the input data can render the architecture to change prediction outcomes significantly. To address this problem, we propose methods to perform differentiable search of robust neural architectures. In our methods, two differentiable metrics are defined to measure architectures' robustness, based on certified lower bound and Jacobian norm bound. Then we search for robust architectures by maximizing the robustness metrics. Different from previous approaches which aim to improve architectures' robustness in an implicit way: performing adversarial training and injecting random noise, our methods explicitly and directly maximize robustness metrics to harvest robust architectures. On CIFAR-10, ImageNet, and MNIST, we perform game-based evaluation and verification-based evaluation on the robustness of our methods. The experimental results show that our methods 1) are more robust to various norm-bound attacks than several robust NAS baselines; 2) are more accurate than baselines when there are no attacks; 3) have significantly higher certified lower bounds than baselines.

研究の動機と目的

• 既存のNAS手法で探索されたニューラルアーキテクチャが adversarial 攻撃に対して脆弱であるという問題に対処すること。
• 敵対的訓練のような暗黙的な防御に依存せず、耐性を明示的に最適化する微分可能なNASフレームワークの開発。
• 原理的かつスケーラブルな方法でアーキテクチャの耐性を定量化する微分可能な指標の定義。
• さまざまな攻撃タイプとノルム制約下での探索アーキテクチャの耐性と精度の評価。
• クリーン精度を犠牲にせず、かつ顕著に高い探索コストを増加させることなく、耐性を向上させることの可能性の実証。

提案手法

• 線形緩和に基づく認証下限と、ヤコビアン行列の行方向L2ノルムに基づくヤコビアンノルム下限という2つの微分可能な耐性指標を提案。
• これらの指標を、DARTS風の微分可能アーキテクチャ探索（DARTSスタイル）フレームワークに統合し、アーキテクチャ探索中に耐性を直接最大化する最適化目的関数として採用。
• DSRNA-Jacobianでは、ヤコビアンノルム下限の効率的計算のため、1次テイラー近似を用い、若干の精度の損失を差し引いても速度とメモリ効率を向上。
• 個々のブロックに対して線形バウンディング技術を適用し、それらを組み合わせて全アーキテクチャのグローバルな認証バウンドを構築。
• ゲームベースおよび検証ベースの評価を用いて、複数のデータセットおよび攻撃タイプにおける耐性を評価。
• DARTS、PC-DARTS、P-DARTSなどの既存の微分可能NAS手法との統合を可能とし、一貫的かつ原理的な方法で耐性を向上可能に。

実験結果

リサーチクエスチョン

• RQ1 微分可能なニューラルアーキテクチャ探索は、微分可能な指標を用いて敵対的耐性を明示的に最適化するように拡張可能か？
• RQ2 認証下限とヤコビアンノルム下限は、耐性保証の強さと計算効率の観点から、どのように比較されるか？
• RQ3 クリーン精度を犠牲にせず、かつ過度な探索コストを負担せずに、耐性アーキテクチャを探索可能か？
• RQ4 多様な敵対的攻撃下で、DSRNAの耐性は既存の耐性NASベースラインと比べてどの程度優れているか？
• RQ5 探索されたアーキテクチャは、ImageNetのような大規模データセットへどの程度一般化可能か？

主な発見

• CIFAR-10では、l2およびlinftyノルムの両方において、DSRNA-CBおよびDSRNA-Jacobianがすべてのベースラインと比較して高い認証下限を達成し、より強い理論的耐性保証を示した。
• PGD、FGSM、C&W攻撃のすべてのタイプにおいて、DSRNA手法はRobNet、SDARTS-ADV、PC-DARTS-ADVを上回る耐性精度を達成した。
• 攻撃が存在しない状況では、DSRNAはASAPと同等の精度を達成し、RobNetよりも顕著に高い精度を示しており、耐性とクリーン精度のトレードオフがないことを示した。
• DSRNA-JacobianはDSRNA-CBに比べ10倍高速で、メモリ効率も高く、耐性のわずかな低下を差し引いても大規模探索に実用的である。
• ImageNetでは、DSRNA手法はすべての攻撃で高い耐性を維持し、RobNetを著しく上回った。また、FGSMおよびPGD攻撃下では、SDARTS-ADVおよびPC-DARTS-ADVと同等またはそれ以上の精度を達成した。
• MNISTでは、C&W攻撃下でRobNet-largeやSDARTS-ADVよりもはるかに耐性が高く、PGDおよびFGSM攻撃下ではそれらと同等の耐性を示した。また、RobNet-largeよりも高いクリーン精度を達成した。