[논문 리뷰] HopSkipJumpAttack: A Query-Efficient Decision-Based Attack

Jianbo Chen, Michael I. Jordan외 1명|arXiv (Cornell University)|2019. 04. 03.

Adversarial Robustness in Machine Learning참고 문헌 31인용 수 69

한 줄 요약

본 논문은 이진 정보를 사용하여 결정 경계에서 gradient 방향을 추정하는 HopSkipJumpAttack 계열의 결정 기반 적대적 공격을 제시하며, l2 및 linf 노름에서 비타겟팅 및 타겟팅 공격에 대해 높은 질의 효율을 달성한다.

ABSTRACT

The goal of a decision-based adversarial attack on a trained model is to generate adversarial examples based solely on observing output labels returned by the targeted model. We develop HopSkipJumpAttack, a family of algorithms based on a novel estimate of the gradient direction using binary information at the decision boundary. The proposed family includes both untargeted and targeted attacks optimized for $\ell_2$ and $\ell_\infty$ similarity metrics respectively. Theoretical analysis is provided for the proposed algorithms and the gradient direction estimate. Experiments show HopSkipJumpAttack requires significantly fewer model queries than Boundary Attack. It also achieves competitive performance in attacking several widely-used defense mechanisms. (HopSkipJumpAttack was named Boundary Attack++ in a previous version of the preprint.)

연구 동기 및 목표

• 예측된 라벨만 사용할 수 있는 결정 기반 위협 모델 하에서 모델의 강건한 평가를 촉진한다.
• 경계 정보만을 사용하여 적대적 예제를 구성하기 위한 그래디언트 방향 추정 방법을 개발한다.
• 수렴성이 보장되는 비타겟팅(l2) 및 타겟팅(linf) 공격의 계열을 만든다.
• 일반적인 방어에 대한 질의 복잡도 감소와 경쟁력 있는 강건성 평가를 입증한다.
• 연구자들이 방어에 대한 최초의 강건성 평가 도구로 이 공격을 활용할 수 있도록 실용적인 지침을 제공한다.

제안 방법

• 결정 기반 공격을 경계 지시자 S_x*(x)를 포함하는 최적화 문제로 구성한다.
• 경계 투영, 그래디언트 방향 추정, 스텝 크기 탐색을 교대로 수행하는 반복 알고리즘(HopSkipJumpAttack)을 제안한다.
• 바이너리 질의의 몬테카를로 평균을 이용하여 경계에서 새로운 점근적으로 편향되지 않는 그래디언트 방향 추정기를 도출한다.
• 결정 경계에 접근하기 위한 이진 탐색 절차와 스텝 크기 조정을 위한 기하급수적 증가를 도입한다.
• 해당하는 투영/갱신 규칙을 통해 방법을 ell2 및 ell-infinity 거리로 확장한다.
• 그래디언트 추정의 안정성을 높이기 위해 분산 감소(variance-reduction) 기반선을 도입한다.

실험 결과

연구 질문

• RQ1 결정 기반 공격이 라벨 출력만을 사용하여 효율적으로 적대적 예제를 만들 수 있는가?
• RQ2 바이너리 피드백으로 결정 경계에서 어떻게 그래디언트 방향을 추정할 수 있는가?
• RQ3 제안된 HopSkipJumpAttack의 ell2 및 ell-infinity 지표에서의 수렴 보장 및 질의 복잡성은 어떠한가?
• RQ4 일반적인 방어에 대해 기본 결정 기반 방법과 비교하여 이 공격의 성능은 어떠한가?

주요 결과

• HopSkipJumpAttack은 여러 데이터셋에서 Boundary Attack, Opt Attack, Limited Attack에 비해 모델 질의 수를 크게 줄인다.
• 제안된 그래디언트 방향 추정은 경계에서 점근적으로 편향되지으며 경계 기반 최적화를 가능하게 한다.
• 알고리즘은 ell2 및 ell-infinity 지표에 대해 비타깃팅 및 타깃팅 설정에서 경쟁력 있거나 우수한 성공률과 섭동 거리을 달성한다.
• 실험 결과는 방어 수단인 방어적 증류, 영역 기반 분류, 적대적 학습, 입력 이진화 등에 대한 강건성 평가를 보여준다.
• 이 방법은 실용적이며 하이퍼파라미터가 적고 실질적인 최초의 강건성 평가 도구로 적합하다.