[論文レビュー] Generalized Likelihood Ratio Test for Adversarially Robust Hypothesis Testing

Bhagyashree Puranik, Upamanyu Madhow+1 more|arXiv (Cornell University)|Dec 4, 2021

Adversarial Robustness in Machine Learning参考文献 23被引用数 4

ひとこと要約

本稿では、真のクラスと悪意のある摂動（ネイジスパrameter）を同時に推定することで、敵対的ロバスト性を備えた仮説検定のための一般化尤度比検定（GLRT）を提案する。このGLRTは、ℓ∞-有界攻撃下で漸近的にミニマックス性能に達し、特に弱い攻撃下では、ロバストネスと精度のトレードオフがより優れている。

ABSTRACT

Machine learning models are known to be susceptible to adversarial attacks which can cause misclassification by introducing small but well designed perturbations. In this paper, we consider a classical hypothesis testing problem in order to develop fundamental insight into defending against such adversarial perturbations. We interpret an adversarial perturbation as a nuisance parameter, and propose a defense based on applying the generalized likelihood ratio test (GLRT) to the resulting composite hypothesis testing problem, jointly estimating the class of interest and the adversarial perturbation. While the GLRT approach is applicable to general multi-class hypothesis testing, we first evaluate it for binary hypothesis testing in white Gaussian noise under $\ell_{\infty}$ norm-bounded adversarial perturbations, for which a known minimax defense optimizing for the worst-case attack provides a benchmark. We derive the worst-case attack for the GLRT defense, and show that its asymptotic performance (as the dimension of the data increases) approaches that of the minimax defense. For non-asymptotic regimes, we show via simulations that the GLRT defense is competitive with the minimax approach under the worst-case attack, while yielding a better robustness-accuracy tradeoff under weaker attacks. We also illustrate the GLRT approach for a multi-class hypothesis testing problem, for which a minimax strategy is not known, evaluating its performance under both noise-agnostic and noise-aware adversarial settings, by providing a method to find optimal noise-aware attacks, and heuristics to find noise-agnostic attacks that are close to optimal in the high SNR regime.

研究の動機と目的

• 古典的仮説検定フレームワークを用いて、機械学習における敵対的攻撃に対して統計的に整合性のある防御を開発すること。
• 合成仮説検定において、敵対的摂動をネイジスパラメータとして扱い、クラスと摂動を同時に推定可能にする。
• 二値分類にとどまらず、特にミニマックス戦略が未知であるような状況にも適用可能な一般的な防御フレームワークを提供すること。
• 攻撃強度の変化に応じたGLRTのロバストネスと精度のトレードオフを分析すること。
• ℓ∞-有界摂動下での理論的性能境界を確立し、漸近的にミニマックス戦略と同等の性能を示すことを示すこと。

提案手法

• 敵対的ロバストネスを、摂動をネイジスパラメータとして扱う合成仮説検定問題として定式化する。
• 一般化尤度比検定（GLRT）を用い、両仮説下での尤度を最大化することで、真のクラスと摂動を同時に推定する。
• 変分的最適化を用いてGLRT防御における最悪ケース攻撃を導出し、ミニマックス戦略との性能比較を可能にする。
• 大規模次元dにおける漸近的解析を用いて、GLRTの性能が既知のミニマックス防御に近づくことを示す。
• 多クラス設定におけるノイズに依存するおよびノイズに依存しない攻撃ヒューリスティクスを構築し、条件付き期待値とミルズ比の近似を用いて最適攻撃を計算する。
• リンデバーグの条件と中心極限定理の議論を用いて、各座標におけるコスト差の漸近的正規性を正当化する。

実験結果

リサーチクエスチョン

• RQ1 GLRTフレームワークは、ℓ∞-有界摂動下で敵対的ロバストな二値仮説検定においてミニマックス性能を達成できるか？
• RQ2 攻撃予算の変化に応じて、GLRT防御はミニマックス防御と比べてロバストネスと精度のトレードオフで優れているか？
• RQ3 データ次元dが増加する際のGLRTの漸近的性能は何か？ また、ミニマックスリスクに収束するか？
• RQ4 ミニマックス戦略が未知である多クラス設定において、最適なノイズに依存するおよびノイズに依存しない攻撃はどのように構築できるか？
• RQ5 クラスと摂動を同時に推定するため、GLRT防御は悲観的なミニマックス戦略よりも弱い攻撃に適応しやすいか？

主な発見

• データ次元d → ∞ の下で、GLRT防御はℓ∞-有界攻撃下で既知のミニマックス防御と同等の性能に漸近的に達する。
• 非漸近的領域では、特に弱い攻撃下において、GLRTはミニマックス防御よりもロバストネスと精度のトレードオフで優れている。
• 信号平均µ ≥ 0 のとき、各座標におけるコスト差は攻撃強度eに対して単調非減少であり、攻撃強度に適応する。
• µ < 0 のとき、コスト差はeに対して単調減少であり、信号の符号に応じてGLRTの適応行動が異なることが示される。
• 各座標のコスト差の和に対してリンデバーグの条件が満たされ、漸近的解析における中心極限定理の適用が正当化される。
• 理論的解析により、二乗および線形コスト差の期待値が極限で消えることが確認され、最適性能への収束が裏付けられる。