[논문 리뷰] Adversarially Robust Learning Could Leverage Computational Hardness

Sanjam Garg, Somesh Jha외 2명|arXiv (Cornell University)|2019. 05. 28.

Adversarial Robustness in Machine Learning참고 문헌 48인용 수 8

한 줄 요약

이 논문은 계산적 난이도가 다항시간 공격자에게 적대적 예제를 찾는 것을 비가능하게 만들기 때문에, 계산적으로 무한한 적대자들이 성공할 수 있는 상황에서도 적대적 강건성을 가능하게 한다고 제안한다. 표준 암호학적 가정에 기반한 학습 과제를 구성함으로써, 다항시간 공격자에 대한 강건성이 계산적 제약 조건에 의해 정보이론적 한계를 초월해 의미 있는 강건성을 제공할 수 있음을 보여준다.

ABSTRACT

Over recent years, devising classification algorithms that are robust to adversarial perturbations has emerged as a challenging problem. In particular, deep neural nets (DNNs) seem to be susceptible to small imperceptible changes over test instances. However, the line of work in provable robustness, so far, has been focused on information-theoretic robustness, ruling out even the existence of any adversarial examples. In this work, we study whether there is a hope to benefit from algorithmic nature of an attacker that searches for adversarial examples, and ask whether there is any learning task for which it is possible to design classifiers that are only robust against polynomial-time adversaries. Indeed, numerous cryptographic tasks can only be secure against computationally bounded adversaries, and are indeed impossible for computationally unbounded attackers. Thus, it is natural to ask if the same strategy could help robust learning. We show that computational limitation of attackers can indeed be useful in robust learning by demonstrating the possibility of a classifier for some learning task for which computational and information theoretic adversaries of bounded perturbations have very different power. Namely, while computationally unbounded adversaries can attack successfully and find adversarial examples with small perturbation, polynomial time adversaries are unable to do so unless they can break standard cryptographic hardness assumptions. Our results, therefore, indicate that perhaps a similar approach to cryptography (relying on computational hardness) holds promise for achieving computationally robust machine learning. On the reverse directions, we also show that the existence of such learning task in which computational robustness beats information theoretic robustness requires computational hardness by implying (average-case) hardness of NP.

연구 동기 및 목표

• 계산적 난이도가 다항시간 공격자에 대해 머신러닝의 강건성을 달성하는 데 활용될 수 있는지 조사하기.
• 계산적으로 유한한 공격자들이 정보이론적 공격자보다 본질적으로 더 약한 학습 과제가 존재하는지 확인하기.
• 암호학적 보안 모델과 유사한 게임 기반 정의를 통해 머신러닝에서의 계산적 강건성의 형식화하기.
• 이러한 계산적 강건한 학습 과제의 존재성과 NP의 평균적 난이도 사이의 연결 고리 설정하기.
• 계산적 강건성이 일방함수와 같은 암호학적 유용한 원리의 구축으로 이어질 수 있는지 탐색하기.

제안 방법

• 챌린저가 분류기를 학습시키고, 공격자가 오ракulum 액세스를 통해 소수의 변형을 가진 적대적 예제를 찾는 게임 기반 프레임워크를 도입한다.
• 쿠크-레빈 감소를 통해 적대적 예제를 찾는 문제를 부울 만족 가능성(SAT) 문제로 환원하며, 입력 변형과 잘못 분류의 조건을 인코딩한다.
• 만족 가능성이 높지만 어떤 다항시간 알고리즘에게도 해결하기 어려운 SAT 공식의 분포를 사용해 NP에 대한 딱딱한 샘플러를 구성한다.
• 직접 곱 생성과 같은 강화 기법을 사용해 만족 가능하고 불만족 가능한 인스턴스 사이의 격차를 강화하여, 효율적 알고리즘이 실패할 확률이 높아지도록 한다.
• 체르노프-후프딩 한계를 적용해 만족 가능한 공식을 생성할 확률은 높지만, 다항 크기의 공격자의 성공 확률은 미미함을 보여준다.
• 레마 19를 적용해 난이도를 추가로 강화하여, 최종 샘플러가 만족 가능성이 극도로 높은 공식을 생성하지만, 어떤 효율적 알고리즘에게도 해결하기 어려운 공식을 생성하도록 한다.

실험 결과

연구 질문

• RQ1 계산적 난이도를 활용해 다항시간 공격자들이 작은 변형을 가진 적대적 예제를 찾을 수 없도록 하는 학습 과제를 구성할 수 있는가, 즉 계산적으로 무한한 공격자들이 성공할 수는 있지만 다항시간 공격자들은 실패하는가?
• RQ2 이러한 계산적 강건한 학습 과제의 존재성은 특히 NP의 평균적 난이도에 의존하는가?
• RQ3 학습에서의 계산적 강건성 프레임워크를 사용해 일방함수와 같은 암호학적 유용한 원리를 생성할 수 있는가?
• RQ4 적대적 강건성에서 계산적 제약 조건을 활용하는 것이 정보이론적 강건성과 비교해 실용적인 대안이 될 수 있는가, 이는 종종 달성하기 어려운 경우가 많기 때문이다?
• RQ5 이 접근법은 인위적으로 수정된 문제 외에도 자연스러운 학습 문제, 예를 들어 이미지 분류 문제로 확장될 수 있는가?

주요 결과

• 계산적으로 무한한 공격자들이 작은 변형을 가진 적대적 예제를 찾을 수 있는 학습 과제가 존재하지만, 다항시간 공격자들은 표준 암호학적 난이도 가정을 깨지 않는 한 이를 찾을 수 없다.
• 이러한 학습 과제의 존재성은 NP의 평균적 난이도를 암시하며, 이는 계산적 강건성이 기초적인 계산적 가정 없이 존재할 수 없음을 보여준다.
• 제안된 구성은 만족 가능성이 높지만 어떤 다항시간 알고리즘에게도 해결하기 어려운 SAT 공식을 생성하는 딱딱한 샘플러를 사용한다.
• 모든 다항시간 공격자의 성공 확률은 심지어 공식이 극도로 높은 확률로 만족 가능하더라도, 미미한 함수로 제한된다.
• 이 프레임워크는 다양한 유형의 공격자, 특히 구조적 제약이 있는 공격자들로 일반화되는 형식적인 게임 기반 정의를 가능하게 한다.
• 결과적으로 암호학에서처럼 계산적 난이도가 실용적인 적대적 강건성을 머신러닝에서 달성하는 데 유망한 길이 될 수 있음을 시사한다.