[論文レビュー] Deep Partition Aggregation: Provable Defenses against General Poisoning Attacks

Alexander Levine, Soheil Feizi|arXiv (Cornell University)|May 3, 2021

Adversarial Robustness in Machine Learning参考文献 40被引用数 22

ひとこと要約

本稿では、一般のポイズニング攻撃およびラベル反転攻撃の両方に対して、証明可能で堅牢な防御手法として、Deep Partition Aggregation (DPA) と Semi-Supervised DPA (SS-DPA) を提案する。DPA はハッシュベースのデータ分割とアンサンブル学習を用い、証明可能な耐性を実現し、MNIST では 500 個を超えるポイズン挿入、CIFAR-10 では 9 個のポイズン挿入に対して、最先端の認証を達成する。SS-DPA は MNIST で 600 個を超えるラベル反転、CIFAR-10 で 300 個を超えるラベル反転に耐えられる。

ABSTRACT

Adversarial poisoning attacks distort training data in order to corrupt the test-time behavior of a classifier. A provable defense provides a certificate for each test sample, which is a lower bound on the magnitude of any adversarial distortion of the training set that can corrupt the test sample's classification. We propose two novel provable defenses against poisoning attacks: (i) Deep Partition Aggregation (DPA), a certified defense against a general poisoning threat model, defined as the insertion or deletion of a bounded number of samples to the training set --- by implication, this threat model also includes arbitrary distortions to a bounded number of images and/or labels; and (ii) Semi-Supervised DPA (SS-DPA), a certified defense against label-flipping poisoning attacks. DPA is an ensemble method where base models are trained on partitions of the training set determined by a hash function. DPA is related to both subset aggregation, a well-studied ensemble method in classical machine learning, as well as to randomized smoothing, a popular provable defense against evasion (inference) attacks. Our defense against label-flipping poison attacks, SS-DPA, uses a semi-supervised learning algorithm as its base classifier model: each base classifier is trained using the entire unlabeled training set in addition to the labels for a partition. SS-DPA significantly outperforms the existing certified defense for label-flipping attacks (Rosenfeld et al., 2020) on both MNIST and CIFAR-10: provably tolerating, for at least half of test images, over 600 label flips (vs. < 200 label flips) on MNIST and over 300 label flips (vs. 175 label flips) on CIFAR-10. Against general poisoning attacks where no prior certified defenses exists, DPA can certify ≥ 50% of test images against over 500 poison image insertions on MNIST, and nine insertions on CIFAR-10. These results establish new state-of-the-art provable defenses against general and label-flipping poison attacks.

研究の動機と目的

• サンプル挿入、削除、ラベル／画像の歪みを含む、有限個の訓練サンプルに対する一般ポイズニング攻撃に対して、証明可能な防御を構築すること。
• ラベル反転ポイズニング攻撃に特化した認証防御を設計し、先行研究を上回る耐性を達成すること。
• 一般およびラベル反転ポイズニング脅威の両方において、新たな最先端の認証耐性を確立すること。
• アンサンブル学習と半教師付き学習を活用し、高い精度を維持しながら認証保証を強化すること。
• 各テストサンプルに対して理論的証明を提供し、予測を破壊するために必要な最小ポイズニング強度を定量化すること。

提案手法

• DPA はランダムなハッシュ関数を用いて訓練データセットを分割し、互いに排他的な部分集合上でベースモデルを学習することでアンサンブルを構築する。
• 最終的な予測は、ベースモデル間の多数決によって決定され、予測を変更するために必要な最小サンプル数の下限を用いて耐性を証明する。
• SS-DPA は DPA を半教師付き学習を用いて拡張したもので、各ベースモデルは全未ラベルデータとそのパーティションからのラベルを用いて学習され、ラベル反転に対する耐性が向上する。
• 認証は、アンサンブル予測を変更するために必要なラベルまたはデータの摂動数を制限する組合せ的議論に基づく。
• 本手法はサブセットアグリゲーションとランダムスムージングの両方の特性を継承し、両者の長所を組み合わせてポイズニング防御に活用する。
• パーティショニング構造と投票メカニズムの性質を活用することで、耐性証明を効率的に計算でき、実用的導入が可能になる。

実験結果

リサーチクエスチョン

• RQ1 挿入、削除、または有限個の訓練サンプルの歪みを含む一般ポイズニング攻撃に対して、証明可能に耐性を持つ防御を構築できるか？
• RQ2 本防御の半教師付きバージョンは、既存の認証防御と比較して、ラベル反転攻撃に対する耐性を著しく向上させられるか？
• RQ3 本フレームワークを用いて、与えられたテストサンプルに対して認証可能な最大のポイズニング摂動数（挿入またはラベル反転）は何か？
• RQ4 本稿で提案する防御は、MNIST や CIFAR-10 のような標準ベンチマークにおいて、先行の認証防御と比較してどのように性能を発揮するか？
• RQ5 DPA のアンサンブル構造を活用することで、同じ脅威モデル下で、既存の手法よりも強力な理論的保証を達成できるか？

主な発見

• DPA は MNIST において、少なくとも 50% のテスト画像に対して 500 個を超えるポイズン画像挿入に対して耐性を証明し、新たな最先端を樹立した。
• CIFAR-10 では、DPA が少なくとも半数のテスト画像に対して 9 個のポイズン挿入に対して耐性を証明し、一般ポイズニング攻撃に対する強い耐性を示した。
• SS-DPA は、先行の認証防御を上回り、MNIST では 600 個を超えるラベル反転に耐えられる（先行研究では <200）。
• CIFAR-10 では、SS-DPA が 300 個を超えるラベル反転に対して耐性を証明した（先行研究では 175）。これにより、新たな基準が確立された。
• 本稿で提案する防御は、一般およびラベル反転ポイズニング攻撃の両脅威モデル下で、既存の手法と比較して顕著に高い認証耐性を達成した。
• パーティショニング、アンサンブル投票、半教師付き学習の組み合わせにより、強力な理論的保証と標準データセットにおける実用的性能の両方が実現された。