[論文レビュー] Model-Targeted Poisoning Attacks with Provable Convergence

Fnu Suya, Saeed Mahloujifar+3 more|arXiv (Cornell University)|Jun 30, 2020

Adversarial Robustness in Machine Learning参考文献 35被引用数 7

ひとこと要約

この論文は、オンライン凸最適化を用いて、所定のターゲット分類器に理論的に収束するモデル指向のポイズニング攻撃を提案する。段階的にポイズニング点を追加することで、誘導されるモデルが、ポイズニング点の数の平方根の逆数に比例する速度でターゲットに収束することを保証する。最小必要点数の下限が存在し、従来の攻撃と比較して成功確率と収束安定性の両面で優れている。

ABSTRACT

In a poisoning attack, an adversary with control over a small fraction of the training data attempts to select that data in a way that induces a corrupted model that misbehaves in favor of the adversary. We consider poisoning attacks against convex machine learning models and propose an efficient poisoning attack designed to induce a specified model. Unlike previous model-targeted poisoning attacks, our attack comes with provable convergence to {\it any} attainable target classifier. The distance from the induced classifier to the target classifier is inversely proportional to the square root of the number of poisoning points. We also provide a lower bound on the minimum number of poisoning points needed to achieve a given target classifier. Our method uses online convex optimization, so finds poisoning points incrementally. This provides more flexibility than previous attacks which require a priori assumption about the number of poisoning points. Our attack is the first model-targeted poisoning attack that provides provable convergence for convex models, and in our experiments, it either exceeds or matches state-of-the-art attacks in terms of attack success rate and distance to the target model.

研究の動機と目的

• 局所最適解に陥りやすく、収束保証のない従来のポイズニング攻撃の限界を解消すること。
• 凸モデルにおいて、到達可能な任意のターゲット分類器に理論的に収束するモデル指向攻撃を設計すること。
• 事前にポイズニング点の数を知る必要をなくし、段階的かつオンラインでポイズニングデータを構築できるようにすること。
• ターゲットモデルへの収束に必要な最小ポイズニング点数に関する理論的境界を提供すること。
• 異なるモデル重み初期化およびデータバッチ処理条件下でも攻撃の効果性と安定性を向上させること。

提案手法

• 攻撃はオンライン凸最適化を用いて段階的にポイズニング点を生成し、固定されたバッチサイズや事前に指定された点数に依存しない。
• ポイズニング問題を訓練目的関数におけるミニマックス最適化として定式化し、KKT条件を活用して取り扱いやすくする。
• 現在のモデルとターゲットモデルの距離を最小化することで、ターゲット分類器への収束を保証し、ポイズニング点数nに対してO(1/√n)の速度で収束する。
• 候補点の集合を、ターゲットサブポピュレーションからの誤分類例に制限することで、攻撃の効率を向上させる。
• 各反復で、現在のモデルとターゲットモデルの間の損失差が最大となる点を、最も効果的なポイズニング点として選択する。
• 反復間で一貫した初期化を用いることで、モデル重み初期化のばらつきに対して頑健性を確保し、ターゲットモデルの学習と整合性を保つ。

実験結果

リサーチクエスチョン

• RQ1 凸モデル向けのモデル指向ポイズニング攻撃は、所定のターゲット分類器に理論的に収束できるか？
• RQ2 ポイズニング点の数とターゲットモデルへの収束速度との間には、理論的な関係があるか？
• RQ3 モデル重み初期化およびデータバッチ処理条件の変化下でも、攻撃はどのように動作するか？
• RQ4 成功確率と収束安定性の両面で、標準的なラベル反転攻撃を上回ることができるか？
• RQ5 所定のターゲット分類器に到達するために必要な最小ポイズニング点数は何か？

主な発見

• 攻撃はターゲット分類器への理論的収束を達成し、ターゲットからの距離がポイズニング点数nに対してO(1/√n)の速度で減少する。
• 特に収束安定性と攻撃成功確率の面で、ラベル反転ベースラインを大きく上回る。
• モデル重み初期化が未知であっても、攻撃はラベル反転ベースラインを一貫して上回るが、ランダムシードによって性能にばらつきが生じる。
• ターゲットサブポピュレーションからの誤分類例に制限された候補点集合を用いることで、攻撃の効率と収束性が顕著に向上する。
• 各反復で最適ポイズニング点を最大10個までコピーすることで、攻撃実行時間を約90％短縮でき、効果に損なわれることなく実現できる。
• 一貫した初期化を反復間で維持することで、データバッチ処理や重み初期化のばらつきに対しても攻撃は頑健である。