[論文レビュー] Defense Against the Dark Arts: An overview of adversarial example security research and future research directions

Ian Goodfellow|arXiv (Cornell University)|Jun 11, 2018

Adversarial Robustness in Machine Learning被引用数 24

ひとこと要約

この論文は、敵対的例の防御に関する研究を包括的に概説しており、耐性の強さが攻撃モデルやノルム制約（例：L∞、L1）に強く依存することを強調している。勾配マスキングに依存する防御は幻想的であると批判し、特定のノルム下での認証可能耐性を提唱するとともに、ラベルスムージングやロジット正則化といった間接的正則化技術が、敵対的耐性を直接最適化しないにもかかわらず有望で一般化可能な防御であると指摘している。

ABSTRACT

This article presents a summary of a keynote lecture at the Deep Learning Security workshop at IEEE Security and Privacy 2018. This lecture summarizes the state of the art in defenses against adversarial examples and provides recommendations for future research directions on this topic.

研究の動機と目的

• 敵対的防御手法の最先端状況を調査し、その限界を特定すること。
• 多くの防御が、勾配マスキングに依存している場合、特に適応的攻撃に対して脆弱であることを強調すること。
• 特定の攻撃モデルに特化しない一般化可能な防御、例えば間接的正則化に基づく防御を提唱すること。
• 特定のノルム制約（例：L∞、L1）下での認証可能耐性の重要性を強調するとともに、現在の認証手法の限界を指摘すること。
• 敵対的例研究が半教師あり学習、モデルの解釈可能性、ニューラルネットワークの一般化理解に与える広範な影響を検討すること。

提案手法

• データ汚染、モデル盗難、テスト時敵対的例を含む、脅威モデルに基づく攻撃と防御の分類法を用いる。
• 敵対的例は、クリーンな入力との知覚的類似性ではなく、真の基準に従った正しくない挙動からの逸脱によって定義されるべきだと提唱する。
• 強力な攻撃（例：PGD）を用いた敵対的訓練が、特にL∞ノルムにおいて顕著に効果的である主要な防御戦略としてレビューする。
• 代替の脅威モデル（例：L1）における防御の失敗を分析し、耐性がノルム固有であることを示す。
• ラベルスムージングやロジット正則化が、敵対的最適化を直接行わないにもかかわらず耐性を向上させる間接的防御法として特定する。
• CleverHansライブラリを用いて防御をベンチマーク化し、既知の最強攻撃に対して耐性があることを保証することを推奨する。

実験結果

リサーチクエスチョン

• RQ1 なぜ多くの防御が、適応的攻撃にさらされると、見た目は耐性があるように見えるにもかかわらず失敗するのか？
• RQ2 防御は、特定のノルムや脅威モデル（例：L∞ 対 L1）を超えてどの程度一般化可能なのか？
• RQ3 ラベルスムージングやロジット正則化といった間接的正則化技術は、直接的な敵対的訓練を行わずに耐性を提供できるのか？
• RQ4 敵対的例は、モデルが真の理解ではなく、誤った相関関係を学習していることをどのように明らかにするのか？
• RQ5 敵対的例研究は、半教師あり学習およびモデルの解釈可能性を進歩させるために、どのような役割を果たせるのか？

主な発見

• 勾配マスキングに依存する防御（例：敵対的例を隠すために勾配を変更するもの）は一見耐性があるように見えるが、適応的攻撃によって簡単に破壊される。
• Madryら（2018）による最先端の防御は、L∞ノルム内ではMNISTで高い耐性を示すが、L1ノルムでは失敗しており、ノルム固有の脆弱性を示している。
• 認証可能な防御は存在するが、特定のノルム球に限定されており、異なる脅威モデル間で一般化されない。
• GANベースのモデルは、人間には自然に見える敵対的例を生成でき、認証可能な防御即ち破壊することができる。
• ラベルスムージングやロジット正則化は、直接的な敵対的最適化を行わないにもかかわらず耐性を向上させ、より一般化可能な防御への道筋を示唆している。
• 敵対的例研究は、既に仮想敵対的訓練を介して半教師あり学習を強化しており、最近のベンチマークでは他の手法を上回っている。