[論文レビュー] Adversarial Initialization - when your network performs the way I want -

Kathrin Grosse, Thomas Alexander Trost+2 more|arXiv (Cornell University)|Feb 8, 2019

Adversarial Robustness in Machine Learning参考文献 32被引用数 6

ひとこと要約

この論文は、訓練されていない初期重みのみを操作することによって深層学習モデルの性能を低下させる、敵対的初期化と呼ばれる新しい攻撃を紹介している。具体的には単純な順列を入れることで、MNISTで最大50%の精度を達成したり、データやモデルアーキテクチャの知識を一切必要とせずに学習時間を2倍にしたりする。この攻撃は、標準的な深層学習ワークフローにおける深刻な脆弱性を明らかにしている。

ABSTRACT

The increase in computational power and available data has fueled a wide deployment of deep learning in production environments. Despite their successes, deep architectures are still poorly understood and costly to train. We demonstrate in this paper how a simple recipe enables a market player to harm or delay the development of a competing product. Such a threat model is novel and has not been considered so far. We derive the corresponding attacks and show their efficacy both formally and empirically. These attacks only require access to the initial, untrained weights of a network. No knowledge of the problem domain and the data used by the victim is needed. On the initial weights, a mere permutation is sufficient to limit the achieved accuracy to for example 50% on the MNIST dataset or double the needed training time. While we can show straightforward ways to mitigate the attacks, the respective steps are not part of the standard procedure taken by developers so far.

研究の動機と目的

• 深層学習におけるこれまで考慮されていなかった脅威モデルを特定・利用する：訓練されていないネットワーク重みの敵対的操作。
• 単純な重みの順列を入れることで、モデルの精度を著しく低下させたり、学習時間を延長したりできることを示す。
• 訓練データや問題ドメインの知識がなくても、このような攻撃が有効であることを示す。
• 現在の深層学習開発パイプラインに標準的な緩和策が存在しないことを強調する。

提案手法

• 攻撃は、深層ニューラルネットワークの初期未訓練重みに対して戦略的な順列を適用する。
• 順列は、学習の開始から勾配フローと最適化ダイナミクスを乱すように設計されている。
• 訓練データ、ラベル、モデルアーキテクチャの知識は初期重みテンソル以外には必要としない。
• 最適化収束と最終精度への影響を形式的に分析する。
• MNISTのような標準ベンチマークを用いて、性能低下を測定するための実証的検証を実施する。
• 異なるネットワークアーキテクチャと初期化方式においても、このアプローチが有効であることが示されている。

実験結果

リサーチクエスチョン

• RQ1 訓練データやモデル構造の知識がなくても、未訓練ネットワーク重みの敵対的操作がモデル性能を低下させられるか？
• RQ2 単純な重み順列によって、深層ネットワークの最終精度をどれほど低下させたり、学習時間をどれほど延長できるか？
• RQ3 訓練データやラベル情報が欠如しているにもかかわらず、なぜこの攻撃が有効なのか？
• RQ4 このような攻撃が成功する形式的および実証的条件は何か？
• RQ5 なぜ現在の深層学習実践は、このような初期化段階の攻撃に対して耐性がないのか？

主な発見

• 未訓練ネットワーク重みの単純な順列により、MNISTのテスト精度は元の初期化にかかわらず約50%に低下する。
• 攻撃により、目標精度に到達するための学習エポック数が2倍に増加する。
• 攻撃はさまざまなネットワークアーキテクチャにわたり有効であり、訓練データや問題ドメインの知識が不要である。
• 脆弱性は、初期化段階での最適化ダイナミクスが重みの順序に極めて敏感であることに起因する。
• 標準的な深層学習実践には、このような初期化段階の攻撃に対する防御策が含まれていないため、モデルが露出した状態である。
• 緩和は可能ではあるが、標準的なトレーニング手順に含まれていないため、現在のモデル開発のセキュリティにギャップが存在する。