[論文レビュー] Intrinsic Certified Robustness of Bagging against Data Poisoning Attacks

Jinyuan Jia, Xiaoyu Cao+1 more|arXiv (Cornell University)|Aug 11, 2020

Adversarial Robustness in Machine Learning被引用数 15

ひとこと要約

本稿では、データ汚染攻撃に対して、任意の基本学習アルゴリズムを用いたバギングが、汚染された訓練例の数（変更、削除、挿入されたもの）が導出されたしきい値未満である限り、テスト例に対して一貫した予測を維持することを証明することで、バギングの内在的認証可能ロバストネスを提案する。この手法は、MNISTで最大100例の汚染された例に対して91.1%の認証精度を達成し、既存の認証防御手法と比較してロバストネスと効率性の両面で優れている。

ABSTRACT

In a \emph{data poisoning attack}, an attacker modifies, deletes, and/or inserts some training examples to corrupt the learnt machine learning model. \emph{Bootstrap Aggregating (bagging)} is a well-known ensemble learning method, which trains multiple base models on random subsamples of a training dataset using a base learning algorithm and uses majority vote to predict labels of testing examples. We prove the intrinsic certified robustness of bagging against data poisoning attacks. Specifically, we show that bagging with an arbitrary base learning algorithm provably predicts the same label for a testing example when the number of modified, deleted, and/or inserted training examples is bounded by a threshold. Moreover, we show that our derived threshold is tight if no assumptions on the base learning algorithm are made. We evaluate our method on MNIST and CIFAR10. For instance, our method achieves a certified accuracy of $91.1\%$ on MNIST when arbitrarily modifying, deleting, and/or inserting 100 training examples. Code is available at: \url{https://github.com/jjy1994/BaggingCertifyDataPoisoning}.

研究の動機と目的

• 既存の認証防御手法が適用範囲に制限があるか、あるいはロバストネス保証が緩いため、データ汚染攻撃に対するその限界を解消すること。
• 基本学習アルゴリズムに仮定を設けずに、バギングが inherently 認証可能ロバストネスを有することを証明すること。
• 与えられたテスト入力に対してラベルの一貫性を保つための、汚染された訓練例の数に対するきめ細かな上界を導出すること。
• 実用的導入を可能にするため、ラベル確率を推定し、認証可能な汚染サイズを計算するための効率的なモンテカルロベースのアルゴリズムを開発すること。
• MNISTおよびCIFAR10における実験的検証を通じて、先行手法と比較して優れた認証精度と効率性を示すこと。

提案手法

• 本手法はブートストラップアンサンブル（バギング）を活用し、置換ありの訓練データのランダムサブサンプルを用いて複数の基本分類器を訓練する。
• 各テスト例に対して、アンサンブル分類器は各基本モデルのラベル確率を推定し、最も高い確率を持つラベルを予測する。
• 認証可能な汚染サイズは、アンサンブルが予測する最大ラベル確率と第二に高いラベル確率を含む最適化問題の解として導出される。
• モンテカルロアルゴリズムは、N個のランダムに抽出されたサブサンプルとN個の訓練済み基本分類器を用いて、最大ラベル確率の下限と第二に高いラベル確率の上限を推定する。
• 推定された境界を用いて最適化問題を効率的に解き、各テスト例の認証可能な汚染サイズを計算するアルゴリズムが実装される。
• 本手法はMNISTおよびCIFAR10で評価され、コードは再現可能性のため公開されている。

実験結果

リサーチクエスチョン

• RQ1 バギングが、訓練例の変更・削除・挿入を伴うデータ汚染攻撃に対して、形式的に認証可能ロバストであることを証明できるか？
• RQ2 基本学習アルゴリズムについての仮定を一切設けない場合、導出された認証可能な汚染サイズはタイトか？
• RQ3 実用的に必要なラベル確率を推定し、認証可能な汚染サイズを計算するための効率的かつスケーラブルなアルゴリズムは存在するか？
• RQ4 認証可能なロバストネスの観点から、既存の認証防御手法と比較して、バギングの性能は精度と効率性の両面で優れているか？
• RQ5 本手法は、MNISTやCIFAR10といった多様なデータセットにおいて、現実的な汚染シナリオ下でも強力なロバストネスを維持するか？

主な発見

• バギングは、汚染された訓練例の数が導出されたしきい値未満である限り、テスト例に対して一貫した予測を維持するため、データ汚染攻撃に対して内在的認証可能ロバストネスを有する。
• 導出された認証可能な汚染サイズはタイトであり、基本学習アルゴリズムに仮定を設けない限り、より大きな境界は保証できない。
• MNISTデータセットでは、任意に変更、削除、または挿入された最大100例の訓練例に対して、本手法は91.1%の認証精度を達成する。
• 本手法は、特に挿入や削除を伴うデータ汚染シナリオにおいて、既存の認証防御手法と比較して認証可能なロバストネスと計算効率の両面で優れている。
• モンテカルロベースの推定アルゴリズムにより、複数のテスト例に対して高精度でスケーラブルに認証可能な汚染サイズを計算できる。
• 本手法は一般性が高く、任意の基本学習アルゴリズムに適用可能であるため、実世界の機械学習システムにおいて広く有用である。