[論文レビュー] When Does Machine Learning FAIL? Generalized Transferability for Evasion and Poisoning Attacks

Octavian Suciu, Radu Mărginean+3 more|arXiv (Cornell University)|Jan 1, 2018

Adversarial Robustness in Machine Learning参考文献 41被引用数 109

ひとこと要約

本稿では、限定的な知識と制御という現実的な制約下での機械学習攻撃を評価するための体系的フレームワークであるFAILアタッカーモデルを導入する。本稿は、多様なモデルや防御機構に対して、撹乱攻撃および汚染攻撃の一般化された転送性を示し、4つの機械学習応用分野で効果的であり、3つのアルゴリズムを用い、2つの防御を回避できる実用的で標的型の汚染攻撃「StingRay」を提案する。

ABSTRACT

Attacks against machine learning systems represent a growing threat as highlighted by the abundance of attacks proposed lately. However, attacks often make unrealistic assumptions about the knowledge and capabilities of adversaries. To evaluate this threat systematically, we propose the FAIL attacker model, which describes the adversary's knowledge and control along four dimensions. The FAIL model allows us to consider a wide range of weaker adversaries that have limited control and incomplete knowledge of the features, learning algorithms and training instances utilized. Within this framework, we evaluate the generalized transferability of a known evasion attack and we design StingRay, a targeted poisoning attack that is broadly applicable---it is practical against 4 machine learning applications, which use 3 different learning algorithms, and it can bypass 2 existing defenses. Our evaluation provides deeper insights into the transferability of poison and evasion samples across models and suggests promising directions for investigating defenses against this threat.

研究の動機と目的

• 現実の敵対的仮定下での機械学習攻撃の体系的評価の欠如に対処すること。
• 特徴量、学習アルゴリズム、学習インスタンスについての知識と制御が制限された敵対者をモデル化すること。
• 異なるモデルや学習アルゴリズム間での撹乱攻撃および汚染攻撃の転送性を評価すること。
• 既存の防御を回避できる広く適用可能な実用的汚染攻撃を設計すること。
• 一般化された転送性を持つ汚染攻撃および撹乱攻撃に対する効果的な防御の洞察を提供すること。

提案手法

• 4つの次元（特徴量の知識、学習アルゴリズムの知識、学習インスタンスの知識、モデル更新への制御）に沿って、敵対者の能力を定義するFAILアタッカー・モデルを提案する。
• FAILフレームワーク下で、複数のモデルとデータセットに対して、既知の撹乱攻撃の一般化された転送性を評価する。
• 適切に設計された訓練サンプルを挿入することで、モデルの挙動を操作する標的型汚染攻撃「StingRay」を設計する。
• 3つの異なる学習アルゴリズム（例：SVM、ニューラルネットワーク、決定木）を用いて、4つの機械学習応用分野にStingRayを適用する。
• 2つの既存の防御機構に対してStingRayの有効性をテストし、回避能力を示す。
• 敵対者の知識と制御のレベルが異なる状況下で、攻撃の堅牢性を体系的に分析するためにFAILモデルを用いる。

実験結果

リサーチクエスチョン

• RQ1 FAILモデルが定義する現実的な敵対的制約下で、撹乱攻撃の転送性はどのように変化するか？
• RQ2 1つの汚染攻撃が、多様な機械学習応用分野やアルゴリズムに一般化可能か？
• RQ3 限定的な敵対者知識下で、既存の防御は一般化された汚染攻撃に対してどの程度保護できるか？
• RQ4 汚染攻撃における一般化された転送性を可能にする主な要因は何か？
• RQ5 FAILモデルは、機械学習における敵対的脅威の体系的評価をどのように改善するか？

主な発見

• FAILモデルにより、現実の敵対的仮定下での攻撃の体系的評価が可能となり、知識が限定的であっても攻撃が効果的であることが明らかになった。
• 敵対者がターゲットモデルの詳細を限定的にしか知らない状況下でも、撹乱攻撃はモデル間で顕著な転送性を示した。
• StingRayは、3つの異なる学習アルゴリズムを用いて、4つの異なる機械学習応用分野で標的型汚染攻撃を成功裏に実行した。
• StingRayは2つの既存の防御機構を回避でき、その実用性と既知の防御に対する堅牢性を示した。
• 研究結果から、敵対者の知識が制限されても、汚染攻撃における転送性は実現可能であることが判明し、脅威の表面が広がっていることが示唆された。
• 結果から、現実の敵対者に対抗するためには、防御が一般化された転送性を考慮に入れる必要があることが示唆された。