[論文レビュー] Run-Off Election: Improved Provable Defense against Data Poisoning Attacks

Keivan Rezaei, Kiarash Banihashem+2 more|arXiv (Cornell University)|Feb 5, 2023

Adversarial Robustness in Machine Learning被引用数 6

ひとこと要約

本稿では、データポイズニングに対する証明可能な防御を向上させるために、ベースモデルのすべてのロジットを活用する2ラウンドのアンサンブル集約手法であるRun-Off Election (ROE) を提案する。ROEは、上位2クラス間の決選投票を実施し、予測クラスと準優勝クラスの間の距離を拡大することで、認証可能ロバストネスのギャップを拡大する。本手法は、最大4%高い認証可能精度を達成し、点単位の認証可能ロバストネスにおいて新たなSOTAを樹立した。訓練計算量を32倍削減しても、既存手法を上回る性能を発揮した。

ABSTRACT

In data poisoning attacks, an adversary tries to change a model's prediction by adding, modifying, or removing samples in the training data. Recently, ensemble-based approaches for obtaining provable defenses against data poisoning have been proposed where predictions are done by taking a majority vote across multiple base models. In this work, we show that merely considering the majority vote in ensemble defenses is wasteful as it does not effectively utilize available information in the logits layers of the base models. Instead, we propose Run-Off Election (ROE), a novel aggregation method based on a two-round election across the base models: In the first round, models vote for their preferred class and then a second, Run-Off election is held between the top two classes in the first round. Based on this approach, we propose DPA+ROE and FA+ROE defense methods based on Deep Partition Aggregation (DPA) and Finite Aggregation (FA) approaches from prior work. We evaluate our methods on MNIST, CIFAR-10, and GTSRB and obtain improvements in certified accuracy by up to 3%-4%. Also, by applying ROE on a boosted version of DPA, we gain improvements around 12%-27% comparing to the current state-of-the-art, establishing a new state-of-the-art in (pointwise) certified robustness against data poisoning. In many cases, our approach outperforms the state-of-the-art, even when using 32 times less computational power.

研究の動機と目的

• 既存のアンサンブル防御が非上位2クラスの予測を無視するという限界を是正し、ベースモデルのロジットから得られる貴重な情報を無駄にしないために。
• 予測クラスと準優勝クラスの間のロバストネスギャップを拡大することで、データポイズニングに対する証明可能な保証を強化するため。
• 訓練コストを増加させることなく、決定的および確率的アンサンブル手法の両方を強化できる汎用性の高い集約フレームワークを開発するため。
• MNIST、CIFAR-10、GTSRBのベンチマークにおいて、データポイズニング攻撃に対する認証可能ロバストネスの分野で新たなSOTAを確立するため。

提案手法

• 2ラウンドの選挙メカニズムを提案：第1ラウンドでは各ベースモデルが自身の上位予測クラスに投票する。第2ラウンドでは、第1ラウンドで上位2クラスに絞られたクラス同士が競い合い、モデルはロジット層のスコアに基づいて投票する。
• 決選ラウンドでは、すべてのベースモデルのロジットを活用し、予測クラスと準優勝クラスの間のマージンを拡大することで、ロバストネスを向上させる。
• ROE用の統一された認証計算フレームワークを開発し、2ラウンド投票方式におけるより複雑な敵の行動を扱えるように、先行研究を拡張する。
• 既存の防御フレームワークにROEを統合：Deep Partition Aggregationに基づくDPA+ROEと、Finite Aggregationに基づくFA+ROEをそれぞれ提案する。
• 匿名のレビュアーのインスピレーションを受けて、DPA*と呼ばれる強化版を提案し、ROEと組み合わせることでさらなる性能向上を達成する。
• ROE下での敵の最適な攻撃戦略を形式的に定式化し、予測を変更するために必要な汚染サンプル数の下界を導出する。

Figure 1 : An example illustrating our proposed method (Run-off Election) . Training dataset is partitioned into 7 parts ( $d_{1},d_{2},...,d_{7}$ ) and $7$ separate classifiers are trained on each part ( $f_{1},f_{2},...,f_{7}$ ). At test time, after giving the input to the classifiers, we obtain t

実験結果

リサーチクエスチョン

• RQ1 すべてのベースモデルの完全なロジット情報を活用する2ラウンド投票メカニズムが、アンサンブルベースのデータポイズニング防御における認証可能ロバストネスギャップを向上させることができるか？
• RQ2 変動する敵の予算下で、ROEは標準的な多数決集約と比較して、ロバストネスと計算効率の両面で優れているか？
• RQ3 ROEは、決定的および確率的アンサンブル手法の両方と一般化可能であり、認証保証を維持または向上させることができるか？
• RQ4 ROEは、異なるデータセットおよびモデルアーキテクチャにおいて、クリーン精度と認証可能精度にどのような影響を与えるか？
• RQ5 ROEは、認証可能ロバストネスのSOTAを維持または向上させつつ、訓練コストをどの程度削減できるか？

主な発見

• ROEは、標準的な多数決集約と比較して、MNIST、CIFAR-10、GTSRBで最大4%高い認証可能精度を達成した。
• DPA+ROEは、点単位の認証可能ロバストネスにおいて新たなSOTAを樹立した。訓練計算量を32倍削減しても、既存手法を上回る性能を発揮した。
• FA+ROEおよびDPA*+ROEは、現在のSOTAと比較して12%～27%高い認証可能精度を達成し、ROEと強化されたベースモデルやパーティショニング方式を組み合わせた有効性を示した。
• ROEは、高い敵の予算下でも強固な性能を発揮し、FAと比較してCIFAR-10で5%高い認証可能割合を示した。FAは大規模な予算下で性能が低下するのに対し、ROEはその影響を受けにくい。
• すべてのモデルが予測に参加するため、クリーン精度はわずかに低下するが、その分ははるかに強いロバストネス保証によって相殺される。
• ROEは多数決投票よりも証明的によりロバストである：例として、予測を変更するために敵は少なくとも2つの汚染サンプルが必要であるのに対し、多数決投票では1つで十分である。