[논문 리뷰] Generalized Likelihood Ratio Test for Adversarially Robust Hypothesis Testing

Bhagyashree Puranik, Upamanyu Madhow외 1명|arXiv (Cornell University)|2021. 12. 04.

Adversarial Robustness in Machine Learning참고 문헌 23인용 수 4

한 줄 요약

이 논문은 진정한 클래스와 적대적 편향을 노이즈 파rameter로 함께 추정함으로써 적대적 내성 히포테시스 테스트를 위한 일반화된 우도 비율 검정(GLRT) 방식을 제안한다. 이는 ℓ∞-유계 공격 하에서 점점 더 큰 차원에서 최소 최대 성능을 점점 더 근접하게 하고, 특히 더 약한 공격 하에서 더 나은 내성-정확도 트레이드오프를 보이며 최소 최대 방식보다 뛰어난 성능을 보임을 보여준다.

ABSTRACT

Machine learning models are known to be susceptible to adversarial attacks which can cause misclassification by introducing small but well designed perturbations. In this paper, we consider a classical hypothesis testing problem in order to develop fundamental insight into defending against such adversarial perturbations. We interpret an adversarial perturbation as a nuisance parameter, and propose a defense based on applying the generalized likelihood ratio test (GLRT) to the resulting composite hypothesis testing problem, jointly estimating the class of interest and the adversarial perturbation. While the GLRT approach is applicable to general multi-class hypothesis testing, we first evaluate it for binary hypothesis testing in white Gaussian noise under $\ell_{\infty}$ norm-bounded adversarial perturbations, for which a known minimax defense optimizing for the worst-case attack provides a benchmark. We derive the worst-case attack for the GLRT defense, and show that its asymptotic performance (as the dimension of the data increases) approaches that of the minimax defense. For non-asymptotic regimes, we show via simulations that the GLRT defense is competitive with the minimax approach under the worst-case attack, while yielding a better robustness-accuracy tradeoff under weaker attacks. We also illustrate the GLRT approach for a multi-class hypothesis testing problem, for which a minimax strategy is not known, evaluating its performance under both noise-agnostic and noise-aware adversarial settings, by providing a method to find optimal noise-aware attacks, and heuristics to find noise-agnostic attacks that are close to optimal in the high SNR regime.

연구 동기 및 목표

• 기존의 히포테시스 테스트 프레임워크를 활용해 기계학습에서 적대적 공격에 대한 통계적으로 타당한 방식을 개발한다.
• 복합 히포테시스 테스트에서 적대적 편향을 노이즈 파rameter로 간주하여 클래스와 편향을 함께 추정할 수 있도록 한다.
• 이중 분류를 넘어서 적용 가능한 일반적인 방식 프레임워크를 제공하며, 특히 최소 최대 전략이 알려져 있지 않은 분야에 유용하다.
• 공격 강도가 다양할 때 GLRT의 내성-정확도 트레이드오프를 분석한다. 이는 약한 공격과 강한 공격 모두 포함된다.
• ℓ∞-유계 편향 하에서 이론적 성능 한계를 설정하고, 점점 더 큰 차원에서 최소 최대 전략과의 점점 더 큰 점근적 동치성을 입증한다.

제안 방법

• 적대적 내성 문제를 복합 히포테시스 테스트 문제로 재정의하며, 적대적 편향을 노이즈 파rameter로 간주한다.
• 일반화된 우도 비율 검정(GLRT)을 적용하여 진정한 클래스와 편향을 함께 추정하며, 두 가설 하에서의 우도를 최대화한다.
• 변분 최적화를 사용해 GLRT 방식에 대한 최악의 공격을 유도함으로써 최소 최대 전략과의 성능 비교를 가능하게 한다.
• 대규모 차원 d에서의 점근적 분석을 통해 GLRT 성능가 최소 최대 방식의 성능에 점점 더 가까워짐을 보여준다.
• 다중 클래스 설정에서 노이즈 인식형 및 노이즈 무관형 공격 히우리스틱을 개발하며, 최적의 공격 계산은 조건부 기대와 밀스 비율 근사치를 통해 수행된다.
• 린데버그 조건과 중심극한정리의 논리를 활용해 좌표별 비용 차이의 점근적 정규성을 정당화한다.

실험 결과

연구 질문

• RQ1 GLRT 프레임워크는 ℓ∞-유계 편향 하에서 점점 더 큰 차원에서 최소 최대 성능을 달성할 수 있는가?
• RQ2 다양한 공격 예산 하에서 GLRT 방식은 최소 최대 방식과 비교해 내성-정확도 트레이드오프 측면에서 어떻게 성능을 내는가?
• RQ3 데이터 차원이 증가함에 따라 GLRT의 점근적 성능은 어떻게 되며, 최소 최대 위험도로 수렴하는가?
• RQ4 최소 최대 전략이 알려져 있지 않은 다중 클래스 설정에서 최적의 노이즈 인식형 및 노이즈 무관형 공격을 어떻게 구성할 수 있는가?
• RQ5 GLRT는 클래스와 편향을 함께 추정함으로써 최소 최대 전략보다 더 강한 공격에 비해 더 잘 적응하는가?

주요 결과

• 데이터 차원 d → ∞ 일 때, GLRT는 ℓ∞-유계 공격 하에서 알려진 최소 최대 방식과 동일한 성능을 점점 더 근접하게 달성한다.
• 점근적이지 않은 영역에서는 특히 더 약한 공격 하에서 최소 최대 방식보다 내성-정확도 트레이드오프 측면에서 더 뛰어난 성능을 보인다.
• 신호 평균 µ ≥ 0 일 때, 좌표별 비용 차이는 공격 강도 e에 대해 단조로운 비감소성을 보이며, 이는 공격 강도에 적응하는 반응을 나타낸다.
• µ < 0 일 때는 비용 차이가 e에 대해 단조로운 감소성을 보이며, 이는 GLRT가 신호 극성에 따라 다르게 적응함을 보여준다.
• 좌표별 비용 차이의 합에 대해 린데버그 조건이 만족되며, 이는 점근적 분석에서 중심극한정리를 적용할 수 있음을 정당화한다.
• 이론적 분석을 통해 제곱 비용 차이와 선형 비용 차이의 기대값이 극한에서 0으로 수렴함을 확인하여 최적 성능 수렴을 뒷받침한다.