[論文レビュー] ME-Net: Towards Effective Adversarial Robustness with Matrix Estimation

Yuzhe Yang, Guo Zhang+2 more|arXiv (Cornell University)|May 28, 2019

Adversarial Robustness in Machine Learning参考文献 35被引用数 60

ひとこと要約

ME-Net はランダムマスキングに続く行列推定を用いて画像を再構成し、全体構造を保ちつつ敵対的攻撃への頑健性を向上させる。強力な白箱・黒箱攻撃を含む。

ABSTRACT

Deep neural networks are vulnerable to adversarial attacks. The literature is rich with algorithms that can easily craft successful adversarial examples. In contrast, the performance of defense techniques still lags behind. This paper proposes ME-Net, a defense method that leverages matrix estimation (ME). In ME-Net, images are preprocessed using two steps: first pixels are randomly dropped from the image; then, the image is reconstructed using ME. We show that this process destroys the adversarial structure of the noise, while re-enforcing the global structure in the original image. Since humans typically rely on such global structures in classifying images, the process makes the network mode compatible with human perception. We conduct comprehensive experiments on prevailing benchmarks such as MNIST, CIFAR-10, SVHN, and Tiny-ImageNet. Comparing ME-Net with state-of-the-art defense mechanisms shows that ME-Net consistently outperforms prior techniques, improving robustness against both black-box and white-box attacks.

研究の動機と目的

• 敵対的構造を破壊しつつグローバルな画像構造を保持して、頑健な画像分類を動機づける。
• 再構成のためにランダムマスキングと行列推定（ME）を用いる前処理パイプラインを提案する。
• ME-Net がブラックボックス・ホワイトボックスの両方の攻撃に対して頑健性を高めることを示す。
• ME-Net が標準の SGD または敵対的訓練と組み合わせて頑健性を向上させることができることを示す。

提案手法

• 訓練時およびテスト時に各画像に対してランダムピクセルマスキングを適用する。
• マスクされた画像を行列推定（ME）で再構成し、通常は Nuclear Norm 最小化を用いる。
• 再構成画像で分類器を訓練する（任意で敵対的訓練を併用）。
• 推論時には訓練時の平均マスキング確率でテスト画像をマスクし、分類前に再構成する。
• 必要に応じて ME 法（Nuclear Norm, Soft-Impute, USVT）を比較し、計算的なトレードオフを分析する。

実験結果

リサーチクエスチョン

• RQ1 マスキングと ME 再構成は敵対的構造を除去しつつグローバルな画像構造を保持できるか？
• RQ2 ME-Net は複数のデータセットにわたる黒箱・白箱攻撃の頑健性を向上させるか？
• RQ3 ME-Net は敵対的訓練と組み合わせて、強力な攻撃下で最先端の防御を上回る頑健性を発揮するか？
• RQ4 異なる ME 再構成法は精度、頑健性、計算量の点でどのように比較されるか？

主な発見

• ME-Net は黒箱攻撃に対して頑健性を大幅に向上させ、CIFAR-10 での従来手法を上回る。
• 敵対的訓練を用いた ME-Net は白箱頑健性で最先端を達成し、例：ResNet-18 で強力な BPDA 攻撃下で CIFAR-10 の精度 52.8%。
• ME-Net は MNIST, CIFAR-10, SVHN, Tiny-ImageNet でクリーンデータの一般化を維持または改善する。
• ME-Net は前処理パイプラインを対象とする適応的 white-box 攻撃に対しても有効である。
• 異なる ME 法は計算コストが異なるが頑健性は同程度；USVT が最も速く、Nuclear Norm は頑丈だが最も遅い。