[論文レビュー] Increasing-Margin Adversarial (IMA) Training to Improve Adversarial Robustness of Neural Networks

Linhai Ma, Liang Liang|arXiv (Cornell University)|May 19, 2020

Adversarial Robustness in Machine Learning参考文献 66被引用数 8

ひとこと要約

本稿では、均衡状態解析を用いて最適な adversarial サンプルを生成することで、深層ニューラルネットワークにおける標準的精度と耐性のトレードオフを緩和する、新しい adversarial training 法である Increasing-Margin Adversarial (IMA) Training を提案する。IMA は、クリーンデータ精度の最小限の低下で画像分類およびセグメンテーションタスクにおいて最先端の耐性を達成しており、あるアプリケーションでは精度と耐性の両方を向上させることすら可能である。

ABSTRACT

Deep neural networks (DNNs) are vulnerable to adversarial noises. Adversarial training is a general and effective strategy to improve DNN robustness (i.e., accuracy on noisy data) against adversarial noises. However, DNN models trained by the current existing adversarial training methods may have much lower standard accuracy (i.e., accuracy on clean data), compared to the same models trained by the standard method on clean data, and this phenomenon is known as the trade-off between accuracy and robustness and is considered unavoidable. This issue prevents adversarial training from being used in many application domains, such as medical image analysis, as practitioners do not want to sacrifice standard accuracy too much in exchange for adversarial robustness. Our objective is to lift (i.e., alleviate or even avoid) this trade-off between standard accuracy and adversarial robustness for medical image classification and segmentation. We propose a novel adversarial training method, named Increasing-Margin Adversarial (IMA) Training, which is supported by an equilibrium state analysis about the optimality of adversarial training samples. Our method aims to preserve accuracy while improving robustness by generating optimal adversarial training samples. We evaluate our method and the other eight representative methods on six publicly available image datasets corrupted by noises generated by AutoAttack and white-noise attack. Our method achieves the highest adversarial robustness for image classification and segmentation with the smallest reduction in accuracy on clean data. For one of the applications, our method improves both accuracy and robustness. Our study has demonstrated that our method can lift the trade-off between standard accuracy and adversarial robustness for the image classification and segmentation applications.

研究の動機と目的

• 医療画像応用において特に重要な、深層ニューラルネットワークにおける標準的精度と adversarial 耐性の継続的トレードオフに対処すること。
• 耐性を向上させる際、標準的精度を著しく低下させる既存の adversarial training 法の限界を克服すること。
• クリーンデータ精度を高水準に維持しながら、adversarial 攻撃に対する耐性を向上させる手法を開発すること。
• 標準的精度を犠牲にできない安全対象分野（例：医療画像）における adversarial training の広範な採用を可能にすること。
• 精度と耐性のトレードオフは避けられないものではなく、改善された adversarial サンプル生成によって緩和可能であることを示すこと。

提案手法

• adversarial サンプル最適性の均衡状態解析に基づいた、新しい adversarial training フレームワーク、Increasing-Margin Adversarial (IMA) Training を提案する。
• 正しいクラスと誤ったクラスの予測のマージンを最大化する adversarial サンプルを生成し、クリーンデータ精度を損なうことなく耐性を最適化する。
• 訓練中に動的マージン調整機構を用いて、クリーンデータにおける一般化能力を維持しながら、段階的にモデルの耐性を向上させる。
• 標準的交差エントロピー損失とマージンに基づく adversarial 損失をバランスさせる損失関数を導入し、クリーン精度と耐性の両方を向上させる。
• 均衡状態解析からの理論的知見を活用し、耐性向上に最も効果的な最適な adversarial 例を生成する。
• 標準的な深層学習アーキテクチャを用いて、画像分類およびセマンティックセグメンテーションタスクの両方で、エンドツーエンドに本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 改善された adversarial サンプル生成によって、深層ニューラルネットワークにおける標準的精度と耐性のトレードオフを緩和できるか？
• RQ2 提案された IMA Training 法は、他の手法よりも高い adversarial 耐性を達成すると同時に、クリーンデータ精度を維持または向上させられるか？
• RQ3 IMA Training は、多様な画像データセットにおいて、標準的精度と耐性精度のギャップをどの程度縮小するか？
• RQ4 IMA Training は、実世界の応用において、クリーンデータ精度と adversarial 耐性の両方を同時に向上させられるか？
• RQ5 adversarial サンプル最適性の均衡状態解析は、より効果的な adversarial training 策略の設計にどのように寄与するか？

主な発見

• IMA Training は、AutoAttack およびホワイトノイズ攻撃の下で、6つの公開画像データセットにおいて、8つのベースライン手法を上回る最高の adversarial 耐性を達成した。
• 他の adversarial training 手法と比較して、クリーンデータにおける標準的精度の低下が最小限に抑えられ、標準的精度と耐性のトレードオフが効果的に緩和された。
• あるアプリケーションシナリオでは、IMA Training がクリーンデータ精度と adversarial 耐性の両方を向上させ、トレードオフが本質的ではないことを実証した。
• 均衡状態解析は、精度のコストを最小限に抑えつつ耐性の向上を最大限に得るための最適な adversarial サンプル生成の理論的基盤を提供した。
• IMA Training は、画像分類およびセマンティックセグメンテーションタスクの両方で強力な性能を維持しており、広範な適用可能性を示した。
• 本手法は、多様なデータセットおよび攻撃タイプに対して頑健であり、特定のアーキテクチャやデータ分布を超えて一般化能力を確認した。