[논문 리뷰] Adversarial robustness via robust low rank representations

Pranjal Awasthi, Himanshu Jain외 2명|arXiv (Cornell University)|2020. 07. 13.

Adversarial Robustness in Machine Learning참고 문헌 56인용 수 5

한 줄 요약

이 논문은 이미지 및 오디오 데이터와 같은 자연스러운 저랭크 데이터 표현을 활용하여 랜덤화 스무딩을 통해 적대적 로버스트성을 향상시키는 방법을 제안한다. 저랭크 공간에서 노이즈 주입을 수정하고, ∞→2 연산자 노름을 제한하기 위해 다항 가중치 업데이트(MWU) 기반 알고리즘을 사용함으로써, ℓ₂ 및 ℓ∞ 편향에 대해 상당히 향상된 인증 가능 로버스트성을 달성하였으며, CIFAR-10 및 CommonVoice 데이터셋에서 최신 기술을 능가한다.

ABSTRACT

Adversarial robustness measures the susceptibility of a classifier to imperceptible perturbations made to the inputs at test time. In this work we highlight the benefits of natural low rank representations that often exist for real data such as images, for training neural networks with certified robustness guarantees. Our first contribution is for certified robustness to perturbations measured in $\ell_2$ norm. We exploit low rank data representations to provide improved guarantees over state-of-the-art randomized smoothing-based approaches on standard benchmark datasets such as CIFAR-10 and CIFAR-100. Our second contribution is for the more challenging setting of certified robustness to perturbations measured in $\ell_\infty$ norm. We demonstrate empirically that natural low rank representations have inherent robustness properties, that can be leveraged to provide significantly better guarantees for certified robustness to $\ell_\infty$ perturbations in those representations. Our certificate of $\ell_\infty$ robustness relies on a natural quantity involving the $\infty o 2$ matrix operator norm associated with the representation, to translate robustness guarantees from $\ell_2$ to $\ell_\infty$ perturbations. A key technical ingredient for our certification guarantees is a fast algorithm with provable guarantees based on the multiplicative weights update method to provide upper bounds on the above matrix norm. Our algorithmic guarantees improve upon the state of the art for this problem, and may be of independent interest.

연구 동기 및 목표

• 이미지와 같은 데이터의 자연스러운 저랭크 구조를 활용하여 ℓ₂ 편향 하에서 인증 가능한 적대적 로버스트성을 향상시키는 것.
• 저랭크 표현의 내재된 로버스트성을 활용하여 ℓ∞ 편향에 대한 인증 가능 로버스트성 보장을 확장하는 것.
• 투사 행렬의 ∞→2 연산자 노름을 상한으로 제시하는, 증명 가능 보장이 있는 빠르고 확장 가능한 알고리즘을 개발하는 것.
• 실제 데이터인 이미지 및 오디오가 로버스트성 향상에 활용할 수 있는 저랭크 구조를 자연스럽게 갖추고 있음을 보여주는 것.
• 표준 랜덤화 스무딩에서 애초에 존재하는 √n 로버스트성 장벽을 저랭크 투사 구조를 사용하여 극복하는 것.

제안 방법

• 방법은 랜덤화 스무딩을 수정하여 저랭크 표현의 주요 성분을 따라 더 많은 노이즈를 주입함으로써 ℓ₂ 편향에 대한 로버스트성을 높이는 방식이다.
• 투사 행렬의 ∞→2 연산자 노름을 사용하여 ℓ₂ 로버스트성 보장을 ℓ∞ 로버스트성 보장으로 변환하는 새로운 인증 프레임워크를 도입한다.
• ∞→2 연산자 노름의 상한을 효율적으로 계산하기 위해 증명 가능 근사 보장을 갖춘 다항 가중치 업데이트(MWU) 기반 알고리즘을 제안한다.
• 이 알고리즘은 DCT 기저에서 이미지 데이터(CIFAR-10/100) 및 오디오 데이터(CommonVoice)에 적용되어 ∞→2 노름이 작은 저랭크 투사 행렬을 찾는 데 사용된다.
• MWU 기반의 노름 추정 이전에 저랭크 투사 행렬을 찾기 위해 희소 PCA를 히우리스틱으로 사용한다.
• 인증 가능 로버스트성은 각 입력 x에 대해 f(x+z) = f(x)를 만족하는 모든 ∥z∥_p ≤ r_f(x)에 대해 인증 반경 r_f(x)를 계산함으로써 평가된다.

실험 결과

연구 질문

• RQ1 이미지 및 오디오와 같은 자연스러운 저랭크 표현이 ℓ₂ 편향 하에서 인증 가능 로버스트성을 향상시키는 데 활용될 수 있는가?
• RQ2 저랭크 투사 행렬의 ∞→2 연산자 노름이 ℓ∞ 로버스트성 인증에 의미 있는 대체 지표가 될 수 있는가?
• RQ3 큰 행렬의 ∞→2 연산자 노름을 상한으로 제시하는, 증명 가능 보장이 있는 빠르고 확장 가능한 알고리즘을 설계할 수 있는가?
• RQ4 저랭크 구조를 활용하면 표준 랜덤화 스무딩에서 애초에 존재하는 √n 로버스트성 장벽을 극복할 수 있는가?
• RQ5 MWU 기반 알고리즘의 성능은 MOSEK와 같은 일반 목적의 SDP 솔버와 비교해 속도와 정확도 측면에서 어떻게 다른가?

주요 결과

• 제안된 방법은 CIFAR-10 및 CIFAR-100에서 최신 기술인 랜덤화 스무딩 베이스라인을 능가하는 개선된 인증 정확도를 달성하였다.
• ℓ∞ 로버스트성의 경우, √n 장벽을 크게 초월하는 인증 반경을 확보하였으며, 오디오 데이터에서 투사 행렬의 ∞→2 노름은 최소 21.285(√n ≈ 34.641)에 도달하였다.
• MWU 기반 알고리즘은 n=10,000 크기의 행렬에 대해 30초 이내에 ∞→2 노름 상한을 계산하였으며, MOSEK와 비교해 상대 오차가 5% 이내였다.
• 오디오 데이터에서는 4.97%에서 5.58%의 투사 오차를 기록하면서도 ∞→2 노름이 √n 이하로 유지되어 효과적인 저랭크 근사가 이루어졌음을 보여주었다.
• 알고리즘은 n=20,000까지 효율적으로 확장되었으며 약 30분이 소요되었고, 일반 목적 솔버인 MOSEK보다 런타임에서 뛰어난 성능을 보였다.
• 실험 결과는 이미지 및 오디오 데이터의 자연스러운 저랭크 표현이 인증에 활용 가능한 내재된 로버스트성 특성을 지닌다는 것을 보여주었다.