[논문 리뷰] Motivating the Rules of the Game for Adversarial Example Research

Justin Gilmer, Ryan P. Adams외 3명|arXiv (Cornell University)|2018. 07. 18.

Adversarial Robustness in Machine Learning참고 문헌 86인용 수 159

한 줄 요약

이 논문은 적대적 예제에 대한 공격자/방어자 규칙의 분류 체계를 제시하여 연구를 실제 보안 위협에 맞추고, 단순하고 추상적인 위협 모델에 과도하게 의존하는 현재의 섭동-방어 관행을 비판합니다.

ABSTRACT

Advances in machine learning have led to broad deployment of systems with impressive performance on important problems. Nonetheless, these systems can be induced to make errors on data that are surprisingly similar to examples the learned system handles correctly. The existence of these errors raises a variety of questions about out-of-sample generalization and whether bad actors might use such examples to abuse deployed systems. As a result of these security concerns, there has been a flurry of recent papers proposing algorithms to defend against such malicious perturbations of correctly handled examples. It is unclear how such misclassifications represent a different kind of security problem than other errors, or even other attacker-produced examples that have no specific relationship to an uncorrupted input. In this paper, we argue that adversarial example defense papers have, to date, mostly considered abstract, toy games that do not relate to any specific security concern. Furthermore, defense papers have not yet precisely described all the abilities and limitations of attackers that would be relevant in practical security. Towards this end, we establish a taxonomy of motivations, constraints, and abilities for more plausible adversaries. Finally, we provide a series of recommendations outlining a path forward for future work to more clearly articulate the threat model and perform more meaningful evaluation.

연구 동기 및 목표

• 적대적 예제 연구에서 의미 있는 보안 위협이 무엇으로 간주되는지 명확히 한다.
• 현실 세계의 시나리오에 부합하는 공격자 동기, 제약 및 능력의 분류 체계를 도입한다.
• 섭동 방어 연구가 현실적인 보안 문제에 어떻게 매핑되는지 평가하고 격차를 식별한다.
• 관련성과 엄격성을 높이기 위한 위협 모델링 및 평가에 대한 권고안을 제시한다.

제안 방법

• 적대적 예제를 정의하기 위한 두 플레이어의 공격자–방어자 게임 프레임워크를 개발한다.
• 공격자 능력을 축들로 분류한다: 목표(표적적 대 비표적), 지식(화이트박스/블랙박스), 행동 공간(구별 불가능, 내용 보존, 의심스럽지 않음, 내용 제한, 제약 없는 입력 포함).
• 시작점 고려사항을 구분한다(데이터에서 뽑은 것 대 고정 입력) 및 게임 순서화(누가 먼저 행동하는지, 재현성).
• 섭동-방어 연구에서 사용되는 일반적인 규칙을 조사한다(예: 데이터 포인트로부터의 l_p 바운드 섭동)와 그 현실성을 비판한다.
• 평가 지표를 논의한다(데이터에 대한 기대값으로서의 적대적 강건성) 및 예제 복잡성 역전 및 강건화의 NP-난해성과 같은 문제.
• 규칙 선택과 보안 관련성을 고무하기 위한 구체적인 실제 예시 시나리오를 제시한다.

실험 결과

연구 질문

• RQ1 배치된 ML 시스템에서 어떤 공격자 목표와 성공 기준이 현실적인가?
• RQ2 어떤 공격자 지식과 행동 공간이 그럴듯하며, 그것이 방어 설계에 어떤 제약을 가하는가?
• RQ3 섭동-방어 규칙이 실제 보안 위협에 얼마나 잘 매핑되며, 어디에서 차이가 있는가?
• RQ4 특정 공격 구현의 산물이 아니라 의미 있는 보안 통찰을 제공하는 평가 관행은 무엇인가?

주요 결과

• 대부분의 섭동-방어 연구는 데이터 분포에서 시작점을 두고 l_p 노름으로 경계된 섭동을 가정하는데, 이는 종종 실제 보안 위협과 맞지 않는 경우가 많다.
• 문헌은 종종 특정 공격자 전략에 대한 강건성을 보고하는데, 더 강한 공격자가 더 쉬운 방어에 직면하는 듯 보이는 난이도 역전이 발생한다.
• 명시적 위협 모델과 더 넓은 공격자 역량 분류 체계가 필요하여 결론적이지 않거나 과장된 보안 주장을 피해야 한다.
• 단일 강건성 점수에 의해 지배되는 평가 지표는 NP-난해한 최적화와 관리되지 않는 공격 전략으로 인해 오해를 일으킬 수 있다.
• 실제 세계의 공격 시나리오(내용 보존, 의심스럽지 않음, 페이로드 제약, 제약 없음)는 표준 섭동-방어 프레임워크의 격차를 드러낸다.