[논문 리뷰] Hold me tight! Influence of discriminative features on deep network boundaries

Guillermo Ortiz-Jiménez, Apostolos Modas외 2명|arXiv (Cornell University)|2020. 02. 15.

Adversarial Robustness in Machine Learning참고 문헌 42인용 수 11

한 줄 요약

이 논문은 입력 공간의 직교 부분공간(예: 주파수 대역)을 따라 샘플을 변형함으로써 훈련 데이터의 분류 특징이 딥 네ural 네트워크의 결정 경계를 어떻게 형성하는지 분석하는 새로운 프레임워크를 제안한다. 이는 결정 경계가 작은 훈련 샘플의 변형, 특히 고주파 방향에서 매우 민감하게 반응하며, 적대적 훈련이 이러한 민감성에 기반해 불변성을 강제함으로써 일반화 능력을 유지하면서도 로버스트성을 향상시킨다는 것을 드러낸다.

ABSTRACT

Important insights towards the explainability of neural networks reside in the characteristics of their decision boundaries. In this work, we borrow tools from the field of adversarial robustness, and propose a new perspective that relates dataset features to the distance of samples to the decision boundary. This enables us to carefully tweak the position of the training samples and measure the induced changes on the boundaries of CNNs trained on large-scale vision datasets. We use this framework to reveal some intriguing properties of CNNs. Specifically, we rigorously confirm that neural networks exhibit a high invariance to non-discriminative features, and show that the decision boundaries of a DNN can only exist as long as the classifier is trained with some features that hold them together. Finally, we show that the construction of the decision boundary is extremely sensitive to small perturbations of the training samples, and that changes in certain directions can lead to sudden invariances in the orthogonal ones. This is precisely the mechanism that adversarial training uses to achieve robustness.

연구 동기 및 목표

• 훈련 데이터의 분류 특징이 딥 네트워크의 결정 경계 기하학에 어떤 영향을 미치는지 이해하는 것.
• 특정 주파수 부분공간에서의 작은 훈련 샘플 변형에 대한 결정 경계의 민감성에 대해 조사하는 것.
• 적대적 훈련이 결정 경계 기하학과 불변성에 어떤 영향을 미치며, 로버스트성이 향상되는 이유를 분석하는 것.
• 입력 공간 내 직교 방향에 따라 마진 분포를 측정하고 해석하는 데 새로운 방법론적 프레임워크를 제공하는 것.

제안 방법

• 저자들은 입력 공간의 DCT 기반 기저 분해를 사용하여 직교 방향에 따라 마진(결정 경계까지의 거리)을 계산하는 방법을 개발한다.
• 특정 부분공간(예: 저주파 대비 고주파 DCT 성분)을 따라 훈련 샘플을 변형하고, 그로 인한 결정 경계 기하학의 변화를 측정한다.
• 데이터 증강 기법 중 '주파수 반전' 기법을 사용하여 입력의 주파수 성분을 뒤집음으로써 분류 특징를 제어적으로 제거한다.
• 다양한 데이터셋(CIFAR-10, ImageNet, MNIST)에서 표준 모델과 적대적 훈련 모델에 대해 마진 분포를 평가한다.
• ℓ₂-PGD 적대적 공격를 사용하여 예측을 뒤집는 데 필요한 최소한의 변형을 측정하고, 이를 주파수 부분공간으로 분해한다.
• 부분공간 간 마진 분포의 통계적 분석을 통해 데이터 특징과 관련된 불변성 및 민감성 패턴을 규명한다.

실험 결과

연구 질문

• RQ1 딥 네트워크의 결정 경계 마진은 훈련 데이터에 존재하는 분류 특징과 어떻게 관련이 있는가?
• RQ2 결정 경계는 입력 공간의 특정 방향에서의 작은 변형에 얼마나 민감한가?
• RQ3 왜 적대적 훈련은 로버스트성을 크게 향상시키며, 결정 경계 기하학에는 어떤 영향을 미치는가?
• RQ4 통제된 데이터 변형을 통해 딥 네트워크가 비분류 특징에 대해 강건한 불변성을 갖는다는 것을 엄밀히 확인할 수 있는가?

주요 결과

• 표준 CNN의 결정 경계는 고주파 부분공간에서의 작은 변형에 매우 민감하며, 이러한 방향에서의 마진은 최소한이다.
• 적대적 훈련은 표준 모델이 이미 고주파 부분공간에서 큰 마진을 가졌음에도 불구하고, 이 방향에서 마진을 크게 증가시킨다.
• 비분류 특징에 대해 네트워크는 강력한 불변성을 보이며, 딥 네트워크가 이러한 노이즈를 간과함으로써 일반화가 잘 된다는 일반적인 믿음을 뒷받침한다.
• 한 방향(예: 고주파)에서 훈련 샘플을 변형하면, 수직 방향에서 갑작스럽게 불변성이 유도되며, 이는 적대적 훈련이 핵심적으로 활용하는 메커니즘을 드러낸다.
• 훈련 데이터가 '주파수 반전'되었을 경우, 마진 분포도 해당 방향으로 뒤집히며, 관찰된 패턴이 데이터의 주파수 성분에 직접적으로 연관되어 있음을 확인한다.
• 임의의 정규직교 기저를 사용할 경우 의미 있는 마진 차이를 드러내지 못하며, DCT 기저가 분류 특징와 비분류 특징을 식별하는 데 필수적임을 증명한다.