[논문 리뷰] Evading classifiers in discrete domains with provable optimality guarantees

Bogdan Kulynych, Jamie Hayes외 2명|arXiv (Cornell University)|2018. 10. 25.

Adversarial Robustness in Machine Learning참고 문헌 68인용 수 20

한 줄 요약

이 논문은 이산 도메인 내에서의 적대적 공격을 가중치가 부여된 변환 그래프 내의 경로 탐색으로 모델링하는 그래픽 프레임워크를 소개한다. 이는 A∗ 탐색을 통해 증명 가능한 최소 비용의 적대적 예제를 생성한다. 기존 공격을 일반화하고, 재정적 비용을 포함한 임의의 비용 함수를 지원하며, 도메인 제약 조건 하에서 공식적인 강건성 보장을 제공한다. 이는 트위터 봇 탐지 및 프라이버시 지문 인식 분류기에서 검증되었다.

ABSTRACT

Machine-learning models for security-critical applications such as bot, malware, or spam detection, operate in constrained discrete domains. These applications would benefit from having provable guarantees against adversarial examples. The existing literature on provable adversarial robustness of models, however, exclusively focuses on robustness to gradient-based attacks in domains such as images. These attacks model the adversarial cost, e.g., amount of distortion applied to an image, as a $p$-norm. We argue that this approach is not well-suited to model adversarial costs in constrained domains where not all examples are feasible. We introduce a graphical framework that (1) generalizes existing attacks in discrete domains, (2) can accommodate complex cost functions beyond $p$-norms, including financial cost incurred when attacking a classifier, and (3) efficiently produces valid adversarial examples with guarantees of minimal adversarial cost. These guarantees directly translate into a notion of adversarial robustness that takes into account domain constraints and the adversary's capabilities. We show how our framework can be used to evaluate security by crafting adversarial examples that evade a Twitter-bot detection classifier with provably minimal number of changes; and to build privacy defenses by crafting adversarial examples that evade a privacy-invasive website-fingerprinting classifier.

연구 동기 및 목표

• 멀웨어, 스팸, 또는 봇 탐지와 같은 이산적이고 제약 조건이 있는 도메인에서 증명 가능한 적대적 강건성 보장이 부족한 문제를 해결하기 위해.
• ℓp-노름에 의존하는 기존 기울기 기반 공격의 한계를 극복하기 위해, 이산적이고 타당한 변환 공간에 적합하지 않은 ℓp-노름이 이산 도메인에 부적합하기 때문이다.
• 사용자 정의 가능한 비용 함수를 갖는 유효한 변환에 대한 그래프 탐색으로 적대적 공격을 공식화하기 위해.
• 연속 도메인의 강건성을 힌트로 사용하여 A∗ 탐색을 통해 증명 가능한 최소 비용의 적대적 예제를 확보하기 위해.
• 재정적 및 운영적 비용을 포함한 현실적인 적대자 제약 조건 하에서 분류기의 강건성 평가를 가능하게 하기 위해.

제안 방법

• 가능한 적대적 변형의 공간을 가중치가 부여된 방향 그래프(변환 그래프)로 표현하며, 노드는 예시이고 간선은 관련 비용이 부여된 변환이다.
• 변환 비용을 간선의 가중치로 모델링하여 ℓp-노름을 초월한 임의의 비용 함수(예: 재정적 비용, 의미적 비용)를 허용한다.
• 연속 슈퍼셋에서의 ℓp-강건성에서 유도된 히وري스틱을 사용하여 변환 그래프에서 A∗ 탐색을 수행함으로써 증명 가능한 최소 총비용의 적대적 예제를 찾는다.
• 분류기의 백박스 지식을 활용하여 A∗에 대한 강건성 히وري스틱을 계산함으로써, 복잡한 이산 공간에서도 최적의 경로 탐색을 보장한다.
• 모델을 변환 그래프에서 분리함으로써 화이트박스 및_BLK박스 설정을 모두 지원하며, 다양한 분류기와 공격 시나리오 간에 재사용 가능하다.
• 연속 도메인의 강건성 계산이 비용이 많이 들 경우, 최적성 보장을 유지하면서도 부분적으로 최적인 A∗ 변종을 지원한다.

실험 결과

연구 질문

• RQ1 이산 도메인 내에서의 적대적 공격을 타당성 제약 조건과 임의의 비용 함수를 반영하는 그래프 탐색 문제로 공식화할 수 있는가?
• RQ2 ℓp-노름이 적용되지 않는 이산 도메인에서 최소 적대적 비용을 어떻게 보장할 수 있는가?
• RQ3 연속 도메인의 적대적 강건성 측정치가 이산 그래프 탐색에 효과적인 히وري스틱로 사용될 수 있는 정도는 어느 정도인가?
• RQ4 이 프레임워크는 보안 강건성과 프라이버시 방어 모두를 실제 응용에서 평가하는 데 사용될 수 있는가?
• RQ5 이 프레임워크는 텍스트, 코드, 네트워크 트래픽와 같은 이산 도메인 내 기존 공격들을 일반화하거나 포함하는가?

주요 결과

• 제안된 변환 그래프 프레임워크는 단어 치환, 바이너리 변형, 특성 조작과 같은 기존의 이산 도메인 공격을 그래프 내 경로로 모델링함으로써 일반화한다.
• 연속 도메인의 ℓp-강건성 히وري스틱을 사용한 A∗ 탐색을 통해 이산 환경에서 증명 가능한 최소 비용의 적대적 예제를 생성할 수 있다.
• 재정적 비용과 같이 ℓp-노름으로 모델링할 수 없는 비용 함수를 지원함으로써 현실적인 적대적 비용 모델링이 가능해진다.
• 이 방법을 통해 트위터 봇 분류기의 강건성을 평가할 수 있으며, 탐지 회피를 위해 필요한 최소한의 변경 수에 대한 증명 가능한 보장을 제공한다.
• 또한 이 프레임워크는 웹사이트 지문 인식 분류기의 방어 조치의 비용 효율성을 평가하기 위해 최소 비용의 적대적 예제를 제작함으로써 프라이버시 응용에도 활용된다.