[論文レビュー] Butterfly Effect: Bidirectional Control of Classification Performance by Small Additive Perturbation

Young Joon Yoo, Seonguk Park+3 more|arXiv (Cornell University)|Nov 27, 2017

Adversarial Robustness in Machine Learning参考文献 44被引用数 3

ひとこと要約

本稿では、分類性能を向上または低下させるために、分類器の重みを変更せずに小さな加法的ノイズを生成するミニマックスGANに類似したフレームワークを用いた、新しい摂動生成ネットワーク（PGN）を提案する。この手法は、ターゲットネットワークのアーキテクチャが未知であっても、クリーンデータにおける精度向上とユニバーサル adversarial 例の生成という双方向制御を実現する。これは、深層学習における性能向上をもたらす摂動の初の実証である。

ABSTRACT

This paper proposes a new algorithm for controlling classification results by generating a small additive perturbation without changing the classifier network. Our work is inspired by existing works generating adversarial perturbation that worsens classification performance. In contrast to the existing methods, our work aims to generate perturbations that can enhance overall classification performance. To solve this performance enhancement problem, we newly propose a perturbation generation network (PGN) influenced by the adversarial learning strategy. In our problem, the information in a large external dataset is summarized by a small additive perturbation, which helps to improve the performance of the classifier trained with the target dataset. In addition to this performance enhancement problem, we show that the proposed PGN can be adopted to solve the classical adversarial problem without utilizing the information on the target classifier. The mentioned characteristics of our method are verified through extensive experiments on publicly available visual datasets.

研究の動機と目的

• 小さな加法的摂動が分類性能を低下させるのではなく、向上させることの可能性を調査すること。
• 分類器のアーキテクチャへのアクセスがなくとも、性能向上と悪意ある攻撃の両方のための摂動を生成する統一フレームワークを開発すること。
• ターゲットネットワークの勾配や構造に依存せずに摂動を生成できることを示し、ユニバーサル adversarial 攻撃を可能にすること。

提案手法

• 生成器と識別器を備えた摂動生成ネットワーク（PGN）を提案し、ミニマックスゲームによって訓練することで、小さな加法的摂動を生成する。
• 生成器は、分類器の出力を望ましい性能結果（精度向上または誤分類）に導くように摂動を学習する。
• 識別器は、摂動を加えた入力がターゲットの性能結果を達成しているかどうかを評価し、生成器にフィードバックを提供する。
• 摂動の大きさを制御し、目に見えない小さな変化を保証するため、敵対的損失とℓ1正則化を組み合わせた損失関数を用いる。
• 同じ学習設定を用いて、性能向上と悪意ある攻撃の両方のタスクにフレームワークを適用する。
• 摂動強度と性能変化のトレードオフを制御するため、調整パrameterであるガンマ（γ）を導入する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの深層ニューラルネットワークの分類精度を低下させるのではなく、向上させるような小さな加法的摂動を設計できるか？
• RQ2 ターゲットネットワークのアーキテクチャを知らずに、多様な入力やモデルに対して性能を低下させるユニバーサル摂動を生成できるか？
• RQ3 同じ学習メカニズムを用いて、性能向上摂動と悪意ある摂動の両方を生成する統一フレームワークを構築できるか？
• RQ4 摂動の大きさが、性能向上と画像歪みのトレードオフにどのように影響するか？
• RQ5 ℓ1正則化項は、敵対的訓練中に摂動強度を制御する上で果たす役割は何か？

主な発見

• 敵対的摂動を生成した際、ImageNet-10とResNet50を用いた実験で、最大53.8%の精度低下を達成し、強力な攻撃能力を示した。
• STL-10データセットでは、ResNet50で最大12.4%、DenseNet169で最大14.8%の分類精度向上を達成し、顕著な性能向上を示した。
• ターゲット分類器のアーキテクチャへのアクセスがなくとも、ユニバーサル adversarial 摂動を効果的に生成でき、この設定で既存手法を上回った。
• ガンマ（γ）の値が高くなるほど摂動強度が増加し、γ=3では強力な敵対的効果が得られつつも画像品質を維持した。
• 敵対的訓練において、ℓ1正則化項が摂動の大きさを制御するために不可欠であった。この項が欠落すると、不安定で極端に大きな摂動が生じた。
• 敵対的設定では、初期段階で正例（正しく誤分類された画像）の割合が高いため、識別器の損失がより速く収束した。