[논문 리뷰] Semidefinite relaxations for certifying robustness to adversarial examples

Aditi Raghunathan, Jacob Steinhardt외 1명|arXiv (Cornell University)|2018. 11. 02.

Adversarial Robustness in Machine Learning인용 수 210

한 줄 요약

이 논문은 임의의 ReLU 네트워크의 적대적 교란에 대해 robustness를 인증하기 위한 semidefinite programming(SDP) relax 단계를 도입하고, 기존 LP 기반 relax보다 더 타이트한 경계를 보여주며 여러 네트워크에서 의미 있는 비비어 있지 않은 인증서를 제공한다.

ABSTRACT

Despite their impressive performance on diverse tasks, neural networks fail catastrophically in the presence of adversarial inputs---imperceptibly but adversarially perturbed versions of natural inputs. We have witnessed an arms race between defenders who attempt to train robust networks and attackers who try to construct adversarial examples. One promise of ending the arms race is developing certified defenses, ones which are provably robust against all attackers in some family. These certified defenses are based on convex relaxations which construct an upper bound on the worst case loss over all attackers in the family. Previous relaxations are loose on networks that are not trained against the respective relaxation. In this paper, we propose a new semidefinite relaxation for certifying robustness that applies to arbitrary ReLU networks. We show that our proposed relaxation is tighter than previous relaxations and produces meaningful robustness guarantees on three different "foreign networks" whose training objectives are agnostic to our proposed relaxation.

연구 동기 및 목표

• 적대적 교란에 대한 인증 방어의 필요성 제고
• ReLU 네트워크에 대한 Worst-case 손실의 상한을 구하는 볼록한 SDP 기반 relax를 개발
• SDP relax가 실제 네트워크에서 LP 기반 relax보다 더 타이트한 robust 인증을 제공함을 입증
• 다양한 robust objective로 학습된 네트워크도 SDP 접근법 하에서 의미 있는 인증서를 얻는지 보여줌
• 다층 네트워크에 SDP 인증서를 적용하는 실용적 지침을 제공하고 동시 검증 접근법과의 비교를 제시

제안 방법

• ReLU를 선형 및 이차 제약으로 표현하여 ReLU 및 공격 제약하에 최악의 마진 최대화를 QCQP로 형식화
• P = vv^T인 몬밀(단항) 행렬을 도입하고 P ≽ 0 및 선형/이차 제약을 강제하여 QCQP를 semidefinite 프로그램(SDP)으로 Relax
• 다층 네트워크에 대해 층별 ReLU 제약과 중간 활성화의 전파 한계를 쌓아 하나의 다층 SDP로 일반화
• 단순한 구간 산술(interval arithmetic)을 이용해 중간 활성화의 경계(l^i, u^i)를 도출하여 SDP를 강화
• SDP 가이드를 LP relax와 비교하여 다단위 설정에서의 공동 활성화 추정과 더 타이트한 경계를 강조
• MNIST에서 Grad-NN, LP-NN, PGD-NN으로 학습된 네트워크를 대상으로 ε = 0.1에서 l∞-노름 공격에 대한 Robustness를 인증
• 구간 기반 경계를 사용하여 실용적인 인증(SDP-cert)을 얻고 LP-cert 및 Grad-cert와 비교

실험 결과

연구 질문

• RQ1 SDP 기반 relax가 ReLU 네트워크의 robustness 인증을 LP relax보다 더 타이트하게 만들 수 있는가?
• RQ2 SDP 인증서가 특별히 인증을 위한 학습 없이도 의미 있는 비비어 있는 보장을 제공하는가?
• RQ3 다층 네트워크로 확장될 때 SDP relax의 확장성은 어떠하며 중간 활성화 경계가 타이트함에 어떤 영향을 미치는가?
• RQ4 표준 벤치마크(MNIST)에서 SDP의 인증 보호가 동시 검증 접근법과 비교해 어떤 차이를 보이는가?

주요 결과

• SDP-cert는 모든 테스트된 네트워크에서 비비어 있지 않은 robust 인증서를 제공하며, 18%의 경계에서 네 층 PGD-학습 모델에 대해 epsilon = 0.1에서 인증을 얻었다
• Grad-NN 및 LP-NN에서 SDP-cert는 이전에 알려진 인증 경계보다 개선되거나 일치한다(예: Grad-NN에서 비인증 35%에서 20%로 감소; LP-NN에서 22%에서 20%로 감소)
• 다층 네트워크에서 LP-cert는 공동 활성화 상호작용을 포착할 수 없어 SDP-cert에 비해 성능이 떨어지는 경우가 많다
• 테스트된 네트워크에서 SDP-cert는 LP-cert 및 Grad-cert보다 일관되게 더 작은 비인증 분수를 달성한다(예: Grad-NN: 20% vs. 97% vs. 35%; LP-NN: 20% vs. 22% vs. 93%; PGD-NN: 18% vs. 100% vs. n/a)
• 기하학적 해석은 활성화를 층 간 결합으로 제어해 SDP가 타이트해짐을 보여주고, LP는 단위 간 독립적으로 처리한다는 차이가 있다
• 계산 시간: 보고된 실험에서 예제당 SDP 해법 약 25분, LP는 약 5분 정도의 시간 소요