[論文レビュー] Provable Defense Against Delusive Poisoning

Lue Tao, Lei Feng+3 more|arXiv (Cornell University)|Feb 9, 2021

Adversarial Robustness in Machine Learning参考文献 52被引用数 6

ひとこと要約

本稿では、正しくラベル付けされた例に対する最小限の摂動がモデル性能を著しく低下させる、欺瞞的ポisons攻撃に対する、証明可能に有効な防御としての敵対的訓練を提案する。著者らは、攻撃を元のデータ分布の回りの∞-ウォッシャーライン球内での最悪ケースの分布シフトとして形式化し、敵対的リスクを最小化することで自然リスクが抑えられることを示した。これにより、敵対的訓練が非頑健な特徴への過剰依存を防ぎ、ベンチマークデータセットにおける6つの実用的攻撃に対して耐性を示すことが明らかになった。

ABSTRACT

Delusive poisoning is a special kind of attack to obstruct learning, where the learning performance could be significantly deteriorated by only manipulating (even slightly) the features of correctly labeled training examples. By formalizing this malicious attack as finding the worst-case distribution shift at training time within a specific $\infty$-Wasserstein ball, we show that minimizing adversarial risk on the poison data is equivalent to optimizing an upper bound of natural risk on the original data. This implies that adversarial training can be a principled defense method against delusive poisoning. To further understand the internal mechanism of the defense, we disclose that adversarial training can resist the training distribution shift by preventing the learner from overly relying on non-robust features in a natural setting. Finally, we complement our theoretical findings with a set of experiments on popular benchmark datasets, which shows that the defense withstands six different practical attacks. Both theoretical and empirical results vote for adversarial training when confronted with delusive poisoning.

研究の動機と目的

• 欺瞞的ポisons攻撃を、元のデータ分布の回りの∞-ウォッシャーライン球内での分布シフトとして形式化すること。
• 敵対的リスク最小化と自然リスク一般化の間の理論的関連を確立すること。
• 敵対的訓練が非頑健な特徴への依存を減らすことで、欺瞞的ポisons攻撃に耐性を示す理由を説明すること。
• 標準ベンチマーク上で6つの実用的欺瞞的ポisons攻撃に対して、防御の実証的妥当性を検証すること。

提案手法

• 元のデータ分布の回りの∞-ウォッシャーライン球によって制約された、最悪ケースの分布シフトとしての欺瞞的ポisons攻撃のモデル化。
• 汚染済みデータ上で敵対的リスクを最小化することで、元のデータ分布上の自然リスクの上界が得られることの証明。
• この同等性を根拠に、敵対的訓練を原理的で正当な防御機構として正当化すること。
• 微細なデータ摂動の存在下で、敵対的訓練が非頑健な特徴への過剰適合を防ぐ内部メカニズムの分析。
• 標準的な敵対的訓練手順（例：PGDベースの最適化）を用いて、欺瞞的ポisons攻撃に対する防御を実施すること。
• 6つの異なる実用的攻撃設定下で、標準ベンチマークデータセット上で防御の評価を実施すること。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練は、欺瞞的ポisons攻撃に対する防御として理論的に正当化可能か？
• RQ2 汚染済みデータ上で敵対的リスクを最小化することは、クリーンデータ上の自然リスクを抑えることに等しいか？
• RQ3 敵対的訓練は、欺瞞的ポisonsによって引き起こされる分布シフトにどのように対処するか？
• RQ4 非頑健な特徴は、欺瞞的ポisons攻撃への脆弱性においてどのような役割を果たすか？
• RQ5 提案された防御は、多様な実用的攻撃シナリオにおいても有効性を保つのか？

主な発見

• 敵対的訓練は、自然リスクの証明可能な上界を最小化するため、欺瞞的ポisons攻撃に対する有効性に理論的根拠を与える。
• 防御は、微細な入力摂動に対して脆弱な非頑健な特徴へのモデル依存を低減することで機能する。
• 理論的分析により、敵対的訓練が∞-ウォッシャーライン制約内での欺瞞的ポisonsによる分布シフトに対抗することを確認した。
• 実験結果から、標準ベンチマークデータセットにおける6つの異なる実用的欺瞞的ポisons攻撃に対して頑健性が示された。
• 多様なデータ分布と攻撃タイプにおいても、防御は強い性能を維持し、一般化能力の妥当性を検証した。