[논문 리뷰] A Boundary Tilting Persepective on the Phenomenon of Adversarial Examples

Thomas Tanay, Lewis D. Griffin|arXiv (Cornell University)|2016. 08. 27.

Adversarial Robustness in Machine Learning참고 문헌 9인용 수 136

한 줄 요약

본 논문은 적대적 예제에 대한 선형 설명을 비판하고 경계 기울기(boundary tilting) 프레임워크를 도입하여 적대적 강도가 가장 가까운 중심점 경계와 데이터 하위모니폴드에서의 편차에 어떻게 의존하는지 보여준다. 또한 적대적 강도를 정규화와 연결하고 SVM 실험과 함께 선형 분류 분석을 제공한다.

ABSTRACT

Deep neural networks have been shown to suffer from a surprising weakness: their classification outputs can be changed by small, non-random perturbations of their inputs. This adversarial example phenomenon has been explained as originating from deep networks being "too linear" (Goodfellow et al., 2014). We show here that the linear explanation of adversarial examples presents a number of limitations: the formal argument is not convincing, linear classifiers do not always suffer from the phenomenon, and when they do their adversarial examples are different from the ones affecting deep networks. We propose a new perspective on the phenomenon. We argue that adversarial examples exist when the classification boundary lies close to the submanifold of sampled data, and present a mathematical analysis of this new perspective in the linear case. We define the notion of adversarial strength and show that it can be reduced to the deviation angle between the classifier considered and the nearest centroid classifier. Then, we show that the adversarial strength can be made arbitrarily high independently of the classification performance due to a mechanism that we call boundary tilting. This result leads us to defining a new taxonomy of adversarial examples. Finally, we show that the adversarial strength observed in practice is directly dependent on the level of regularisation used and the strongest adversarial examples, symptomatic of overfitting, can be avoided by using a proper level of regularisation.

연구 동기 및 목표

• 적대적 예제에 대한 순수한 선형 설명에서 벗어나 경계 기울기(boundary tilting) 관점으로의 전환을 촉진한다.
• 결정 경계와 데이터 하위모니폴드 간의 정렬을 고려하여 적대적 예제가 존재하는 조건을 규명한다.
• 선형 모델에서 적대적 강도를 정량화하고 이를 가장 가까운 중심 분류기(boundary)의 편차와 연관시킨다.
• 경계 기울기와 정규화가 적대적 강도와 모델 강건성에 어떻게 영향을 미치는지 조사한다.
• 경계 기하학과 데이터 분포를 기반으로 한 적대적 예제의 분류 체계를 제안한다.

제안 방법

• 선형 분류기 경계와 미러 이미지를 사용하여 적대적 예제의 비존재(엄격한 비존재) 조건을 정의한다.
• 강도 측정치 s(I, C) = arctan(||j - m(i, C)|| / ||i - m(i, C)||)를 도입하고 이것이 가장 가까운 중심 경계 B와의 편차 각 delta_c로 축약됨을 보인다.
• 분류기 편차를 c = cos(delta_c) b + sin(delta_c) b_perp_c 로 표현하고 delta_c 및 rc = c0/||i||에 따라 s(I, C) 및 s(J, C) 공식을 도출한다.
• rc 및 delta_c 분석을 통해 경계 기울기가 성능 저하 없이도 임의로 강한 적대적 예제를 생성할 수 있음을 보여준다.
• 높은 정규화 하에서 적대적 강도는 가장 가까운 중심 분류기로 수렴하고, 낮은 정규화는 과적합과 경계 기울기를 촉진한다.
• SVM을 사용한 실험적 직관을 제공하여 관찰된 적대적 강도를 정규화 수준과 연결한다.

실험 결과

연구 질문

• RQ1 데이터가 하위모 manifold 위에 있고 결정 경계가 그 근방에 있을 때, 적대적 예제가 존재하는 기하학적 조건은 무엇인가?
• RQ2 선형 모델에서 적대적 강도는 어떻게 정량화될 수 있으며, 가장 가까운 중심 경계 편차가 어떤 역할을 하는가?
• RQ3 경계 기울기가 강한 적대적 예제를 만들어 분류 정확도를 해치지 않고도 가능하며, 정규화는 이 효과를 어떻게 조절하는가?
• RQ4 경계 기하학(편차 각도)과 데이터 분포 전반에 걸친 적대적 예제 강도 간의 관계는 무엇인가?

주요 결과

• 적대적 강도는 분류기의 경계와 가장 가까운 중심 경계 사이의 편차 각도 delta_c로 특징지어질 수 있다.
• 데이터 분산이 낮은 방향으로 경계가 기울어지면, 분류 성능 저하 없이도 적대적 강도가 임의로 크게 될 수 있다.
• 강도가 rc ≈ 0일 때 s ≈ |delta_c|로 단순화되며, 데이터 평균과의 경계 정렬성과 직접적으로 관련된다.
• 강한 정규화는 적대적 강도를 줄이고 분류기를 가장 가까운 중심으로 밀어 넣는 반면, 약한 정규화는 경계 기울기와 더 강한 적대적 예제를 촉진한다.
• 선형 모델(SVM) 실험은 정규화에 따라 적대적 강도를 실용적으로 제어하는 것을 시사하며, 더 깊은 네트워크에서는 교란이 감지하기 어려울 수 있다는 점과 대비된다.