[논문 리뷰] Efficient Decision-based Black-box Adversarial Attacks on Face Recognition

Yinpeng Dong, Hang Su외 5명|arXiv (Cornell University)|2019. 04. 09.

Adversarial Robustness in Machine Learning참고 문헌 38인용 수 15

한 줄 요약

이 논문은 결정 기반 블랙박스 적대적 공격을 위한 효율적인 유전적 공격 방법을 제안하며, 국소 기하학 모델링과 차원 축소를 활용하여 더 적은 쿼리로 최소한의 편향을 유도한다. 이는 최신의 쿼리 효율성과 더 작은 적대적 왜곡을 달성하며, Tencent AI 플랫폼의 실세계 얼굴 인식 API를 성공적으로 공격하여 기준 방법보다 낮은 MSE(2.54e-3)를 기록한다.

ABSTRACT

Face recognition has obtained remarkable progress in recent years due to the great improvement of deep convolutional neural networks (CNNs). However, deep CNNs are vulnerable to adversarial examples, which can cause fateful consequences in real-world face recognition applications with security-sensitive purposes. Adversarial attacks are widely studied as they can identify the vulnerability of the models before they are deployed. In this paper, we evaluate the robustness of state-of-the-art face recognition models in the decision-based black-box attack setting, where the attackers have no access to the model parameters and gradients, but can only acquire hard-label predictions by sending queries to the target model. This attack setting is more practical in real-world face recognition systems. To improve the efficiency of previous methods, we propose an evolutionary attack algorithm, which can model the local geometries of the search directions and reduce the dimension of the search space. Extensive experiments demonstrate the effectiveness of the proposed method that induces a minimum perturbation to an input face image with fewer queries. We also apply the proposed method to attack a real-world face recognition system successfully.

연구 동기 및 목표

• 단순한 하드 레이블 쿼리만 이용 가능한 현실적인 결정 기반 블랙박스 공격 환경에서 최신의 얼굴 인식 모델의 강인성을 평가하는 것.
• 기존의 공격 방법이 과도한 쿼리 수나 큰 편향을 유발하는 비효율성 문제를 해결하는 것.
• 검색 방향 최적화를 향상시키고 효과적 검색 공간의 차원을 감소시켜 쿼리 효율성을 높이는 적대적 공격 방법을 개발하는 것.
• Tencent AI 플랫폼의 실세계 얼굴 인증 API를 성공적으로 공격하여 실용적 적용 가능성을 입증하는 것.

제안 방법

• 이 방법은 검색 방향의 국소 기하학을 공분산 행렬을 통해 모델링하여 쿼리 효율적인 탐색을 이끄는 진화 공격 프레임워크를 사용한다.
• 공분산 행렬의 대각 성분 비례 확률을 활용한 좌표 선택을 수행하여 더 유informative한 방향에 집중함으로써 수렴 성능을 향상시킨다.
• 검색 공간을 저차원 부분공간(예: 45×45×3)으로 제한함으로써 차원 축소를 수행하여 효율성과 편향 품질의 균형을 이룬다.
• 모델의 기울기나 파라미터를 필요로 하지 않으며, 하드 레이블 쿼리만을 사용하므로 실세계 블랙박스 시스템에 적합하다.
• 알고리즘은 타겟 모델에 쿼리를 보내고 쿼리 결과에 따라 검색 분포를 업데이트함으로써 반복적으로 편향을 정밀하게 조정한다.
• 공격 성공률 평가를 위해 도스팅 및 모조 모델 공격 전략을 통합하여 다양한 위협 모델에 대한 강인성을 평가한다.

Figure 1: Demonstration of the decision-based black-box attack setting. Given a black-box model, the attackers use queries to generate adversarial examples with minimum perturbations.

실험 결과

연구 질문

• RQ1 기존 방법과 비교해 결정 기반 블랙박스 얼굴 인식 공격에서 유전적 공격 방법이 더 높은 쿼리 효율성을 달성할 수 있는가?
• RQ2 검색 방향의 국소 기하학을 모델링함으로써 쿼리 제약 조건 하에서 적대적 공격 성능이 어떻게 향상되는가?
• RQ3 공격 성공률와 편향 크기 사이의 균형을 고려할 때, 최적의 검색 공간 차원은 무엇인가?
• RQ4 제안된 방법은 최소한의 시각적 왜곡으로 실세계 얼굴 인식 API를 회피할 수 있는 적대적 예제를 성공적으로 생성할 수 있는가?

주요 결과

• 제안된 유전적 공격는 Tencent AI 얼굴 인증 API에서 평균 왜곡이 가장 낮은 성능(MSE = 2.54e-3)을 기록하여, Boundary(1.63e-2) 및 Optimization(1.71e-2) 방법을 모두 압도했다.
• 낮은 차원의 검색 공간에서 빠르게 수렴하고 더 작은 편향을 유도하였으며, 45×45×3가 효율성과 품질의 균형을 고려할 때 최적의 차원으로 확인되었다.
• 공분산 행렬의 대각 성분(cii)에 기반한 좌표 선택은 균일 샘플링 대비 공격 성능을 크게 향상시켰으며, 적응형 샘플링의 유용성을 입증했다.
• 실세계 얼굴 인식 시스템을 회피할 수 있는 적대적 예제를 성공적으로 생성하여, 실용적 적용 가능성의 타당성을 확인했다.
• LFW 및 MegaFace 데이터셋에서의 광범위한 실험을 통해 최신의 얼굴 인식 모델이 블랙박스 공격에 대해 강인함을 확인하였으며, 보안 취약점을 드러냈다.

Figure 2: The results on face verification conducted on the LFW dataset. We show the curves of the average distortions (MSEs) of the adversarial images generated by different attack methods for SphereFace, CosFace, and ArcFace over the number of queries.