[논문 리뷰] Projection & Probability-Driven Black-Box Attack

Jie Li, Rongrong Ji외 5명|arXiv (Cornell University)|2020. 05. 08.

Adversarial Robustness in Machine Learning참고 문헌 40인용 수 4

한 줄 요약

이 논문은 압축 측정 기반으로 저주파 수제한 측정 행렬을 통해 해의 공간을 줄이고, 확률 기반 무작위 보행 전략을 통해 최적화를 향상시키는 쿼리 효율적인 방법인 투영 및 확률 기반 블랙박스 공격(PPBA)을 제안한다. PPBA는 실세계 시스템인 Google Cloud Vision API에서 최대 24% 적은 쿼리로 상태의 최고 성능을 달성하며, 성공률 84%를 기록한다.

ABSTRACT

Generating adversarial examples in a black-box setting retains a significant challenge with vast practical application prospects. In particular, existing black-box attacks suffer from the need for excessive queries, as it is non-trivial to find an appropriate direction to optimize in the high-dimensional space. In this paper, we propose Projection & Probability-driven Black-box Attack (PPBA) to tackle this problem by reducing the solution space and providing better optimization. For reducing the solution space, we first model the adversarial perturbation optimization problem as a process of recovering frequency-sparse perturbations with compressed sensing, under the setting that random noise in the low-frequency space is more likely to be adversarial. We then propose a simple method to construct a low-frequency constrained sensing matrix, which works as a plug-and-play projection matrix to reduce the dimensionality. Such a sensing matrix is shown to be flexible enough to be integrated into existing methods like NES and Bandits$_{TD}$. For better optimization, we perform a random walk with a probability-driven strategy, which utilizes all queries over the whole progress to make full use of the sensing matrix for a less query budget. Extensive experiments show that our method requires at most 24% fewer queries with a higher attack success rate compared with state-of-the-art approaches. Finally, the attack method is evaluated on the real-world online service, i.e., Google Cloud Vision API, which further demonstrates our practical potentials.

연구 동기 및 목표

• 기존의 고차원 입력 공간에서 요구하는 높은 쿼리 예산을 해결하기 위해.
• 적대적 편향의 저주파 성향을 이용해 적대적 예제 생성을 위한 해의 공간을 줄이기 위해.
• 이전 쿼리 기록을 활용한 확률 기반 전략을 통해 최적화 효율을 향상시키기 위해.
• 실세계 온라인 서비스에서의 성능 평가를 통해 표준 벤치마크를 넘는 실용적 적용 가능성을 입증하기 위해.

제안 방법

• 적대적 편향 생성을 압축 측정 문제로 모델링하고, 저주파 성향 신호를 저주파 제약 측정 행렬을 사용해 복원한다.
• 표준 기저에 역방향 이산余弦변환(DCT)을 적용하고 저주파 성분을 선택하여 측정 행렬을 구성함으로써, 차원을 150,528에서 약 1,500 차원으로 감소시킨다.
• 측정 행렬은 기존의 쿼리 기반 방법(예: NES 및 Bandits TD)과 호환되는 플러그-앤플레이 투영 행렬로 기능한다.
• 확률 기반 무작위 보행 전략은 각 최적화 단계를 삼중조합(예: 양, 0, 음)으로 양자화하고 이전 쿼리 피드백을 활용해 방향 선택을 안내한다.
• 이 전략은 반복 간 정보 재사용을 극대화하여 샘플 효율성을 향상시키고 고차원 기울기 추정에 대한 의존도를 감소시킨다.
• 측정 행렬과 확률 기반 최적화를 통합한 유일한 프레임워크를 구성함으로써 쿼리 비용을 줄이고 높은 공격 성공률을 유지한다.

실험 결과

연구 질문

• RQ1 적대적 편향에 내재된 저주파 사전 지식을 활용해 블랙박스 공격에서 해의 공간을 줄일 수 있는가?
• RQ2 검색 공간을 제약함으로써 고차원 블랙박스 공격에서 쿼리 효율성을 어떻게 향상시킬 수 있는가?
• RQ3 모든 이전 쿼리를 활용하는 확률 기반 최적화 전략이 기울기 추정 기반 방법보다 쿼리 효율성에서 뛰어나게 작용할 수 있는가?
• RQ4 Google Cloud Vision과 같은 실세계 프로덕션 수준의 API에 대해 이러한 방법이 어느 정도 성공을 거두는가?

주요 결과

• PPBA는 표준 ImageNet 벤치마크에서 기존 최상위 성능(SOTA) 방법 대비 최대 24% 적은 쿼리로 쿼리 수를 줄였다.
• 특히 Inception v3와 같은 깊은 모델에서 기존 접근 방식보다 높은 공격 성공률를 달성했다.
• 최적화 전반에 걸쳐 PPBA는 20% 이상의 단계 효율성 비율을 유지했으며, 이는 Bandits TD가 20% 이하에 머무르는 것과 비교해 뚜렷한 우월성을 보였다.
• 실세계 Google Cloud Vision API에서 PPBA는 평균 314회 쿼리로 84%의 공격 성공률를 기록했다.
• 저주파 측정 행렬은 기존 쿼리 기반 공격 프레임워크인 NES 및 Bandits TD와 원활하게 통합될 수 있어 유연성이 뛰어나다.
• 확률 기반 전략은 모든 쿼리를 효율적으로 활용해 샘플 효율성을 향상시키고 수렴 속도를 가속화한다.