[논문 리뷰] On Certifying Non-uniform Bound against Adversarial Attacks

Chen Liu, Ryota Tomioka외 1명|arXiv (Cornell University)|2019. 03. 15.

Adversarial Robustness in Machine Learning참고 문헌 34인용 수 9

한 줄 요약

이 논문은 비균일한 강건성 영역을 신경망에서 인증하기 위한 프레임워크를 제안한다. 제약 최적화와 보완 라그랑주 방법을 사용하여 균일한 경계보다 더 크고 기하학적 특성을 반영한 인증된 이웃 영역을 찾는다. 이 방법은 강건한 모델이 더 큰 비균일한 경계를 가지며, 더 높은 해석 가능성과 기하학적 유사도를 보임을 드러내며, 입력 특성의 강건성에 대한 데이터에 종속되지 않는 메트릭을 제공한다.

ABSTRACT

This work studies the robustness certification problem of neural network models, which aims to find certified adversary-free regions as large as possible around data points. In contrast to the existing approaches that seek regions bounded uniformly along all input features, we consider non-uniform bounds and use it to study the decision boundary of neural network models. We formulate our target as an optimization problem with nonlinear constraints. Then, a framework applicable for general feedforward neural networks is proposed to bound the output logits so that the relaxed problem can be solved by the augmented Lagrangian method. Our experiments show the non-uniform bounds have larger volumes than uniform ones and the geometric similarity of the non-uniform bounds gives a quantitative, data-agnostic metric of input features' robustness. Further, compared with normal models, the robust models have even larger non-uniform bounds and better interpretability.

연구 동기 및 목표

• 모든 입력 특성이 동일하게 취급되는 균일한 강건성 경계의 한계를 해결하기 위해, 실제 강건성에 따라 특성 간 차이를 반영한다.
• 피드포워드 신경망에서 출력 로짓에 대한 비균일한 경계를 추정하기 위한 일반화 가능한 프레임워크를 개발한다.
• 인증 영역 부피의 최대화를 비선형 제약 조건이 있는 제약 최적화 문제로 공식화한다.
• 비균일한 경계 유사도를 통해 입력 특성의 강건성을 정량화하는 데이터에 종속되지 않는 기하학적 메트릭을 제공한다.
• 비균일한 경계를 사용하여 표준 및 강건한 신경망 모델의 결정 경계를 분석하고 해석하는 도구로 활용한다.

제안 방법

• 입력 편향 예산 벡터 $\boldsymbol{\epsilon}$ 에 대한 비선형 제약 조건이 있는 비균일한 강건성 인증 문제를 최적화 문제로 공식화한다.
• 출력 로짓의 경계를 간격 분석 및 선형 근사 기법을 사용해 근사함으로써 원래의 비凸 문제를 해석 가능한 형태로 변형한다.
• 유연한 계산을 가능하게 하기 위해 보완 라그랑주 방법을 적용하여 변형된 최적화 문제를 해결한다.
• ReLU, 잔차 연결 및 밀집 연결을 포함한 일반적인 피드포워드 네트워크를 지원하는 기울기 가능 경계 절차를 도입한다.
• 특성별 편향 예산 $\boldsymbol{\epsilon}$ 를 사용하여 애자일 또는 직사각형 인증 영역을 $l_\infty$ 또는 $l_2$ 노름 하에서 재정의한다.
• 직교 행렬 $\mathbf{A}$ 를 통해 기울어진 경계를 지원함으로써, 편향 공간 내 특성 간 상관관계를 모델링할 수 있다.

실험 결과

연구 질문

• RQ1 비균일한 강건성 경계는 신경망 입력에서 균일한 경계보다 더 큰 인증 영역을 제공할 수 있는가?
• RQ2 입력 간 비균일한 경계의 기하학적 유사도는 입력 특성의 강건성과 어떻게 관련이 있는가?
• RQ3 비균일한 경계는 개별 입력 특성의 강건성을 정량적으로 평가하는 데이터에 종속되지 않는 메트릭으로 기능할 수 있는가?
• RQ4 강건한 모델은 표준 모델과 비교해 비균일한 경계 부피와 해석 가능성 측면에서 어떻게 다를까?
• RQ5 비균일한 경계는 신경망 결정 경계의 구조적 특성을 드러낼 수 있는가?

주요 결과

• 비균일한 경계는 균일한 경계보다 더 큰 인증 영역 부피를 달성하여 특성별 강건성 내성의 이점을 입증한다.
• 강건한 모델은 표준 모델에 비해 상당히 더 큰 비균일한 인증 경계를 보이며, 전반적인 강건성이 뛰어나다는 것을 시사한다.
• 입력 간 비균일한 경계의 기하학적 유사도는 입력 특성 강건성에 대한 데이터에 종속되지 않은 정량적 메트릭을 제공한다.
• 비균일한 경계는 특성별로 편향에 대해 얼마나 강건한지를 드러내므로, 균일한 경계보다 더 해석 가능성이 높다.
• 강건한 모델에서 관찰된 더 강한 기하학적 유사도는 표준 모델에 비해 더 단순하고 구조화된 결정 경계를 의미한다.
• 재정의된 잔차 및 밀집 연결을 통해 제안된 프레임워크는 ResNet 및 DenseNet 아키텍처로도 성공적으로 일반화된다.