[논문 리뷰] Adversarial Robustness Guarantees for Gaussian Processes

Andrea Patanè, Arno Blaas외 4명|arXiv (Cornell University)|2021. 04. 07.

Gaussian Processes and Bayesian Inference참고 문헌 44인용 수 4

한 줄 요약

이 논문은 유한한 입력 집합 위에서 예측 범위를 구속하여 가우시안 프로세스에 대한 증명 가능하고 적절한 적대적 내성 보장을 계산하기 위해 브랜치 앤 바운드 프레임워크를 제안한다. 이는 회귀 및 분류 작업 모두에서 $\epsilon$-정확한 수렴을 보장하며, 일반적인 커널에 대해 분석적 경계를 제공하여 내성성이 정확한 사후 추정과 함께 증가함을 보여준다.

ABSTRACT

Gaussian processes (GPs) enable principled computation of model uncertainty, making them attractive for safety-critical applications. Such scenarios demand that GP decisions are not only accurate, but also robust to perturbations. In this paper we present a framework to analyse adversarial robustness of GPs, defined as invariance of the model's decision to bounded perturbations. Given a compact subset of the input space $T\subseteq \mathbb{R}^d$, a point $x^*$ and a GP, we provide provable guarantees of adversarial robustness of the GP by computing lower and upper bounds on its prediction range in $T$. We develop a branch-and-bound scheme to refine the bounds and show, for any $ε> 0$, that our algorithm is guaranteed to converge to values $ε$-close to the actual values in finitely many iterations. The algorithm is anytime and can handle both regression and classification tasks, with analytical formulation for most kernels used in practice. We evaluate our methods on a collection of synthetic and standard benchmark datasets, including SPAM, MNIST and FashionMNIST. We study the effect of approximate inference techniques on robustness and demonstrate how our method can be used for interpretability. Our empirical results suggest that the adversarial robustness of GPs increases with accurate posterior estimation.

연구 동기 및 목표

• 제한된 입력 변형 하에서 가우시안 프로세스에 대한 증명 가능한 적대적 내성 보장을 제공하기 위해.
• 특히 신경망과 비교할 때 GP 모델에서 정확한 내성 분석의 부족을 해결하기 위해.
• 유한한 입력 집합 위에서 예측 범위 경계를 계산하기 위한 anytime, $\epsilon$-수렴 알고리즘 개발하기 위해.
• 근사 추정과 하이퍼파라미터 튜닝이 GP 내성성에 미치는 영향 평가하기 위해.
• 다양한 데이터셋을 통해 내성성 프로파일을 정량화함으로써 해석 가능성 향리기 위해.

제안 방법

• 프레임워크는 테스트 점 $x^*$를 포함하는 컴acts한 입력 집합 $T \subseteq \mathbb{R}^d$ 위에서 GP 예측 범위의 하한과 상한을 계산한다.
• 반복적으로 경계를 정밀화하여 진짜 극값으로부터 $\epsilon$ 이내로 수렴하는 브랜치 앤 바운드 기법을 사용한다.
• 각 커널에 대해 커널 분해를 통해 $\varphi(x,x')$ 및 $\psi(\varphi)$ 성분으로 나누어 분석적 경계 함수를 유도한다.
• 덧셈 및 곱셈 규칙을 적용하여 스펙트럼 및 비정상형 형태를 포함한 복잡한 커널을 처리한다.
• 선형 및 삼각함수 성질을 활용하여 $T$ 위에서 상한 최적화를 수행함으로써 경계 함수를 계산한다.
• 알고리즘은 anytime 기능을 갖추고 있으며, 모든 반복 단계에서 유효한 상한 근사치를 제공하며, 유한 시간 내에 $\epsilon$-정확성을 보장한다.

실험 결과

연구 질문

• RQ1 제한된 입력 변형 하에서 가우시안 프로세스에 대해 증명 가능한 적대적 내성 보장을 제공할 수 있는가?
• RQ2 사후 추정의 정확도가 GP 모델의 적대적 내성성에 어떤 영향을 미치는가?
• RQ3 기대값 전파와 같은 근사 추정 기법이 내성성 보장에 얼마나 영향을 미치는가?
• RQ4 제안된 브랜치 앤 바운드 프레임워크는 제곱지수 및 일반화된 스펙트럼 커널을 포함한 일반 커널에 대해 분석적 경계를 지원하며, 회귀 및 분류 작업 모두에 적용 가능한가?
• RQ5 다양한 추정 방법 하에서 SPAM, MNIST, Fashion-MNIST와 같은 데이터셋에서 내성성 프로파일은 어떻게 다를까?

주요 결과

• 제안된 방법은 임의의 $\epsilon > 0$ 에 대해 유한한 시간 내에 진짜 예측 범위 극값으로 $\epsilon$-정확한 수렴을 보장한다.
• SPAM, MNIST, Fashion-MNIST 데이터셋 전반에 걸쳐 정확한 사후 추정이 증가할수록 GP 모델의 내성성이 증가함을 확인하였다.
• 적대적 공격 기반의 내성성 추정은 제안된 방법이 편차에 대한 불변성을 확인한 영역에서 내성 영역을 탐지하지 못함을 보여준다.
• 제안된 프레임워크는 제곱지수 및 일반화된 스펙트럼 커널을 포함한 일반 커널에 대해 분석적 경계를 지원한다.
• 기대값 전파 기법은 정확한 추정에 비해 낮은 내성성 추정치를 유도함으로써 내성성의 추정 정확도가 추정 품질에 민감함을 시사한다.
• 이 방법은 제한된 변형에 대해 예측이 증명 가능하게 불변인 입력 영역을 식별함으로써 해석 가능성 향상을 가능하게 한다.