[論文レビュー] On the Power of Abstention and Data-Driven Decision Making for Adversarial Robustness

Nina Balcan, Avrim Blum+2 more|arXiv (Cornell University)|May 4, 2021

Adversarial Robustness in Machine Learning参考文献 55被引用数 6

ひとこと要約

本論文は、非リプシッツ性を持つニューラルネットワークにおける不正攻撃を低次元部分空間に制限することで、棄権を活用する画期的な敵対的ロバストネスフレームワークを提案する。このフレームワークでは、このような攻撃下で棄権を行う分類器が、非棄権型のものよりも理論的によりロバストであることを証明し、理論的保証を伴うデータ駆動型手法により、精度と棄権のトレードオフを最適化する。その結果、教師ありおよび自己教師付きコントラスト学習の両設定において、高いロバスト精度を達成した。

ABSTRACT

We formally define a feature-space attack where the adversary can perturb datapoints by arbitrary amounts but in restricted directions. By restricting the attack to a small random subspace, our model provides a clean abstraction for non-Lipschitz networks which map small input movements to large feature movements. We prove that classifiers with the ability to abstain are provably more powerful than those that cannot in this setting. Specifically, we show that no matter how well-behaved the natural data is, any classifier that cannot abstain will be defeated by such an adversary. However, by allowing abstention, we give a parameterized algorithm with provably good performance against such an adversary when classes are reasonably well-separated in feature space and the dimension of the feature space is high. We further use a data-driven method to set our algorithm parameters to optimize over the accuracy vs. abstention trade-off with strong theoretical guarantees. Our theory has direct applications to the technique of contrastive learning, where we empirically demonstrate the ability of our algorithms to obtain high robust accuracy with only small amounts of abstention in both supervised and self-supervised settings. Our results provide a first formal abstention-based gap, and a first provable optimization for the induced trade-off in an adversarial defense setting.

研究の動機と目的

• 摂動が小さなランダム部分空間に制限される特徴空間における敵対的攻撃モデルを形式化し、非リプシッツ性を持つネットワークの解析を可能にする。
• データ分布にかかわらず、棄権機能を持たない分類器が、このような攻撃に対して理論的に脆弱であることを示す。
• 高次元特徴空間においてクラスが明確に分離されている場合に、証明可能な良好な性能を達成するパラメータ化された棄権分類器を設計する。
• 精度と棄権率のトレードオフを強固な理論的保証とともに最適化するデータ駆動型手法を開発する。
• 教師ありおよび自己教師付きコントラスト学習の両設定において、アプローチを実証的に検証する。

提案手法

• 敵対的攻撃を特徴空間に形式化し、攻撃者が入力を低次元ランダム部分空間内で摂動させることで、非リプシッツ性の解析を可能にする。
• 特徴空間の幾何構造とクラス分離度を活用し、ロバストネスを向上させるパラメータ化された棄権分類器を導入する。
• 非棄権型モデルが失敗する状況において、棄権が証明可能なロバストネスを実現できることを理論的に導出する。
• 精度と棄権率のトレードオフを最適化するデータ駆動型パrameterチューニング手法を提案する。
• コントラスト学習にフレームワークを適用し、わずかな棄権で高いロバスト精度を達成することを示す。
• 高次元特徴空間とクラス分離度を仮定として用いることで、理論的性能境界を保証する。

実験結果

リサーチクエスチョン

• RQ1 非リプシッツ性を持つネットワークにおける敵対的設定において、棄権が非棄権型分類器よりも証明可能なロバストネス優位性を提供できるか？
• RQ2 敵対的摂動を低次元部分空間に制限することで、分類器のロバストネスにどのような影響を与えるか？
• RQ3 このような敵対的設定における精度と棄権率の最適なトレードオフは何か？ そして、それをどのようにデータ駆動的に最適化できるか？
• RQ4 提案されたフレームワークは、最小限の棄権で自己教師付きコントラスト学習において高いロバスト精度を達成できるか？
• RQ5 定義された攻撃モデル下で、棄権分類器が非棄権型を上回る性能を示すために必要な理論的条件は何か？

主な発見

• データ分布やネットワークアーキテクチャにかかわらず、非棄権型分類器は定義された部分空間攻撃に対して理論的に脆弱である。
• 高次元特徴空間においてクラスが明確に分離されている場合、棄権分類器は理論的に良好な性能を達成する。
• データ駆動型パrameterチューニング手法により、精度-棄権トレードオフに対する強い理論的保証が得られる。
• 実証的結果から、教師ありおよび自己教師付きコントラスト学習の両設定において、わずかな棄権で高いロバスト精度が達成された。
• 本フレームワークは、最初の形式的棄権ベースのロバストネスギャップを確立し、敵対的防御における精度-棄権トレードオフに対する最初の証明可能な最適化手法を提供した。