[논문 리뷰] Spanning Attack: Reinforce Black-box Attacks with Unlabeled Data

Lu Wang, Huan Zhang외 3명|arXiv (Cornell University)|2020. 05. 11.

Adversarial Robustness in Machine Learning참고 문헌 35인용 수 4

한 줄 요약

이 논문은 소량의 보조 비라벨 데이터셋으로 생성된 저차원 부분공간 내에 적대적 편향을 제약함으로써 블랙박스 적대적 공격의 쿼리 효율성을 향상시키는 새로운 방법인 스파닝 어택을 제안한다. 이 방법은 소프트 레이블 및 하드 레이블 공격 모두에서 쿼리 수를 크게 줄이며 높은 성공률를 유지한다. 이는 작은 비편향된 비라벨 데이터셋만으로도 효과적인 공격 성능을 달성할 수 있음을 보여준다.

ABSTRACT

Adversarial black-box attacks aim to craft adversarial perturbations by querying input-output pairs of machine learning models. They are widely used to evaluate the robustness of pre-trained models. However, black-box attacks often suffer from the issue of query inefficiency due to the high dimensionality of the input space, and therefore incur a false sense of model robustness. In this paper, we relax the conditions of the black-box threat model, and propose a novel technique called the spanning attack. By constraining adversarial perturbations in a low-dimensional subspace via spanning an auxiliary unlabeled dataset, the spanning attack significantly improves the query efficiency of a wide variety of existing black-box attacks. Extensive experiments show that the proposed method works favorably in both soft-label and hard-label black-box attacks. Our code is available at https://github.com/wangwllu/spanning_attack.

연구 동기 및 목표

• 특히 하드 레이블 설정에서 10,000건 이상의 쿼리가 요구되는 경우가 많기 때문에, 블랙박스 적대적 공격의 높은 쿼리 복잡도를 해결하기 위함.
• 입력 공간의 효과적 차원을 낮춤으로써 블랙박스 공격의 효율성과 실용성을 향상시키기 위함.
• 소량의 보조 비라벨 데이터셋만 가용하다는 조건을 가정함으로써 블랙박스 위협 모델을 완화하기 위함. 이는 현실적이고 실행 가능한 조건이다.
• 적대적 편향이 데이터 매니폴드에 의해 생성된 저차원 부분공간에 자연스럽게 존재함을 보여주어 효율적인 탐색이 가능함을 입증하기 위함.
• 비차별 가능한 모델을 포함한 다양한 공격 알고리즘과 모델 유형에 대해 일반화 가능성을 입증하기 위함.

제안 방법

• 소량의 보조 비라벨 데이터셋을 사용해 저차원 부분공간을 구성하며, 이는 훈련 데이터 매니폴드의 대체자 역할을 한다.
• 편향을 투영을 통해 이 부분공간에 제약함으로써 검색 공간의 차원 수를 감소시키고 최적화 효율성을 향상시킨다.
• 블랙박스 공격에서 사용되는 제로번째 최적화 방법과 호환되어 기존 공격 프레임워크에 통합이 가능하다.
• 보조 데이터셋에 대해 특이값 분해(SVD)를 수행하여 부분공간을 형성하며, 상위 또는 하위 특이벡터를 사용해 선택적 스파닝을 구현할 수 있다.
• 출력 유형에 맞게 쿼리 피드백 메커니즘을 조정함으로써 소프트 레이블 및 하드 레이블 공격 설정 모두를 지원한다.
• 기존의 블랙박스 공격 알고리즘에 적용 가능한 일반 목적의 향상 기법으로 구현된다.

실험 결과

연구 질문

• RQ1 저차원 부분공간을 통해 입력 공간의 차원을 줄이면 블랙박스 적대적 공격에서 쿼리 효율성이 크게 향상되는가?
• RQ2 스파닝 어택의 성능은 보조 데이터셋과 훈련 데이터 간의 분포 유사성에 의존하는가?
• RQ3 작은 비편향되거나 비i.i.d. 비라벨 데이터셋이라도 공격 효율성을 효과적으로 향상시킬 수 있는가?
• RQ4 가장 또는 가장 작은 중요도를 가진 특이벡터로 형성된 부분공간 중 어느 것이 적대적 편향 탐색에 더 효과적인가?
• RQ5 라벨이 부여된 보조 데이터가 필요하거나 대체 모델에 의존하는 기존 방법과 비교해 스파닝 어택은 어떻게 성능을 내는가?

주요 결과

• 스파닝 어택은 기준 블랙박스 공격 대비 최대 50%까지 쿼리 수를 줄이며, 다양한 모델과 데이터셋에서 일관되게 높은 성공률를 기록한다.
• 단지 1,000장의 이미지로 구성된 작은 보조 데이터셋만으로도 VGG-16에서 68.6%의 성공률, ResNet-50에서 58.7%의 성공률를 달성하여 이전의 라벨이 부여된 데이터를 사용한 방법을 능가한다.
• 하위 800개의 특이벡터를 사용하는 '하위 스파닝 어택'은 성능을 더욱 향상시켜, 적대적 편향이 데이터 매니폴드 외부에 존재할 수 있음을 시사한다.
• 완전히 무작위 부분공간은 기준보다 성능이 열 劣하므로, 의미 있는 데이터셋에서의 사전 지식이 필수적임을 확인한다. 임의의 저차원 투영만으로는 충분하지 않다.
• 보조 데이터셋이 훈련 데이터와 다른 분포에서 샘플링된 경우에도, 예를 들어 ImageNet 모델에 대해 Flickr8k 이미지를 사용할 경우에도 메서드는 여전히 효과적이다.
• 다양한 편향 반경 ε 값에서 일관되게 성능 향상을 보이며, 성공률와 쿼리 효율성이 다양한 ε 값에서도 유지된다.