[논문 리뷰] On Robustness to Adversarial Examples and Polynomial Optimization

Pranjal Awasthi, Abhratanu Dutta외 1명|arXiv (Cornell University)|2019. 11. 12.

Adversarial Robustness in Machine Learning인용 수 17

한 줄 요약

이 논문은 적대적 로버스트니와 다항식 최적화 사이의 강력한 연결 고리를 확립하여, 선형 분류기 및 차수 2 다항식 임계값 함수(PTF)에 대해 증명 가능하게 안정된 학습과 인증을 위한 최초의 다항식 시간 알고리즘을 가능하게 한다. 이는 준정방형 프rogramming(SDP)을 사용한 볼록 이완 프레임워크를 도입하여 효율적인 적대적 공격과 로버스트니 인증을 가능하게 하며, 기존 PGD 기반 방법보다 이전에 발견되지 않은 적대적 예제를 발견하는 데서 슈퍼리어한 성능을 보인다.

ABSTRACT

We study the design of computationally efficient algorithms with provable guarantees, that are robust to adversarial (test time) perturbations. While there has been an proliferation of recent work on this topic due to its connections to test time robustness of deep networks, there is limited theoretical understanding of several basic questions like (i) when and how can one design provably robust learning algorithms? (ii) what is the price of achieving robustness to adversarial examples in a computationally efficient manner? The main contribution of this work is to exhibit a strong connection between achieving robustness to adversarial examples, and a rich class of polynomial optimization problems, thereby making progress on the above questions. In particular, we leverage this connection to (a) design computationally efficient robust algorithms with provable guarantees for a large class of hypothesis, namely linear classifiers and degree-2 polynomial threshold functions (PTFs), (b) give a precise characterization of the price of achieving robustness in a computationally efficient manner for these classes, (c) design efficient algorithms to certify robustness and generate adversarial attacks in a principled manner for 2-layer neural networks. We empirically demonstrate the effectiveness of these attacks on real data.

연구 동기 및 목표

• 적대적 로버스트니 학습 알고리즘 설계 시 발생하는 계산적 트레이드오프를 이해하기 위해.
• 적대적 편향에 대해 증명 가능하게 보장되는 다항식 시간 알고리즘 개발을 위해.
• 특정 함수 클래스에 대해 효율적으로 로버스트니를 달성하는 데 드는 비용을 규명하기 위해.
• 2층 신경망에서 적대적 공격 생성 및 로버스트니 인증을 위한 효율적인 알고리즘 설계를 위해.
• 적대적 로버스트니를 다항식 최적화 문제와 연결하는 통합 프레임워크 제공을 위해.

제안 방법

• 저자들은 적대적 로버스트니를 다항식 최적화 문제로 모델링한다: ||z||∞ ≤ δ 조건 하에 g(x+z)의 차수 1 또는 차수 2 다항식을 최대화한다.
• ℓ∞ 제약 조건을 γ ≥ 1인 곱수인자로 허용함으로써 볼록 이완을 가능하게 하며, 준정방형 프로그래밍(SDP)을 통해 이를 이룰 수 있다.
• SDP 이완은 g(x + ẑ) ≥ g(x + z*)를 만족하는 ẑ를 제공하며, 이는 진정한 최적의 z*에 대해 성립한다. 이때 ||ẑ||∞ ≤ γδ이다.
• 이 이완은 효율적인 적대적 공격 생성을 가능하게 한다: 해가 존재하면, 이는 이완된 ℓ∞ 구내에 있는 적대적 예제를 식별한다.
• 해가 존재하지 않으면, 알고리즘은 원래 δ-구내 내에 적대적 예제가 존재하지 않음을 증명 가능하게 인증한다.
• 이 프레임워크는 공격 알고리즘을 학습 루프에 통합함으로써 로버스트 학습으로 확장되며, (δ/γ)-로버스트 오차 보장을 보장한다.

실험 결과

연구 질문

• RQ1 선형 및 이차 분류기의 경우, 적대적 편향에 대해 증명 가능하게 안정된 다항식 시간 알고리즘을 설계할 수 있는가?
• RQ2 계산적으로 효율적인 방식으로 적대적 로버스트니를 달성하는 데 드는 계산 비용은 무엇인가?
• RQ3 다항식 최적화를 어떻게 활용하여 증명 가능하게 검증 가능한 적대적 공격 및 로버스트니 인증을 설계할 수 있는가?
• RQ4 적대적 로버스트니와 다항식 최적화 사이의 연결 고리를 활용하여 PGD를 초월하는 공격 성공률을 달성할 수 있는가?
• RQ5 이 프레임워크는 고차수 다항식 임계값 함수나 더 깊은 네트워크로 어떻게 확장할 수 있는가?

주요 결과

• 제안된 SDP 기반 공격은 δ=0.3일 때 PGD 실패 예제에서 99%의 리콜을 달성하여, PGD가 놓친 적대적 예제를 발견한다.
• δ=0.01일 때, 이 방법은 PGD 실패 예제 중 상위 100개의 순위에 속한 예제들 중 45개의 새로운 적대적 예제를 발견한다.
• 공격는 희박하고 타겟된 적대적 예제를 생성하며, PGD의 보다 균일한 편향과는 다른 구조를 띤다.
• 알고리즘은 증명 가능한 로버스트니 인증을 제공한다: 해가 존재하지 않으면, δ-ℓ∞ 이웃 내에 적대적 예제가 존재하지 않음을 의미한다.
• 이 프레임워크는 차수 1 및 차수 2 PTF에 대해 (δ/γ)-로버스트 오차 보장을 갖는 최초의 다항식 시간 로버스트 학습 알고리즘을 가능하게 한다.
• SDP 이완은 이전 연구보다 엄밀히 더 강력하며, 입력 x에 따라 달라지며 더 나은 인증 결과를 도출한다.