[논문 리뷰] Understanding the Decision Boundary of Deep Neural Networks: An Empirical Study

David Mickisch, Felix Assion외 3명|arXiv (Cornell University)|2020. 02. 05.

Adversarial Robustness in Machine Learning참고 문헌 38인용 수 25

한 줄 요약

이 경험적 연구는 딥 네ural 네트워크의 결정 경계가 훈련 중에 어떻게 변화하는지 조사하며, 자연 이미지에서 결정 경계까지의 최소 거리(마진)가 시간이 지남에 따라 감소함을 밝혀내는데, 이는 정확도가 정점에 도달한 후의 훈련 에포크에서도 마찬가지다. 적대적 훈련은 이러한 경향을 완화하여 마진을 안정화시키고 강건성을 향상시키며, 이는 열악한 강건성이 아키텍처나 초기화의 문제보다는 훈련 동역학의 문제에서 기인한다는 것을 시사한다.

ABSTRACT

Despite achieving remarkable performance on many image classification tasks, state-of-the-art machine learning (ML) classifiers remain vulnerable to small input perturbations. Especially, the existence of adversarial examples raises concerns about the deployment of ML models in safety- and security-critical environments, like autonomous driving and disease detection. Over the last few years, numerous defense methods have been published with the goal of improving adversarial as well as corruption robustness. However, the proposed measures succeeded only to a very limited extent. This limited progress is partly due to the lack of understanding of the decision boundary and decision regions of deep neural networks. Therefore, we study the minimum distance of data points to the decision boundary and how this margin evolves over the training of a deep neural network. By conducting experiments on MNIST, FASHION-MNIST, and CIFAR-10, we observe that the decision boundary moves closer to natural images over training. This phenomenon even remains intact in the late epochs of training, where the classifier already obtains low training and test error rates. On the other hand, adversarial training appears to have the potential to prevent this undesired convergence of the decision boundary.

연구 동기 및 목표

• 최고 수준의 딥 네럴 네트워크가 높은 정확도를 보임에도 불구하고 여전히 적대적 예제와 입력 오염에 취약한 이유를 이해하기 위해.
• 딥 네럴 네트워크의 훈련 과정 중 데이터 포인트에서 결정 경계까지의 거리가 어떻게 변화하는지 조사하기 위해.
• 적대적 훈련이 결정 경계의 접근성 변화를 어떻게 변화시키고 강건성을 향상시키는지 평가하기 위해.
• 모델 캘리브레이션, 예측 신뢰도, 결정 경계까지의 거리 간의 관계를 탐색하기 위해.
• 관측된 마진 역학이 다양한 아키텍처와 데이터셋 간에도 일반화되는가 평가하기 위해.

제안 방법

• 딥퍼울 알고리즘을 근사치로 사용하여 각 데이터 포인트에서 결정 경계까지의 최소 거리(마진)를 경험적으로 추적한다.
• 표준 및 적대적으로 훈련된 모델을 MNIST, 패션-MNIST, CIFAR-10에서 훈련하여 훈련 방식 간의 마진 변화를 비교한다.
• 다양한 훈련 에포크에서 정확하게 및 잘못 분류된 이미지의 ℓ₂ 및 ℓ∞-노름 마진을 계산한다.
• 시간에 따른 평균 마진의 추세를 분석하여 자연 데이터 쪽으로의 결정 경계 수렴 또는 발산 여부를 탐지한다.
• PGD 공격를 사용하여 적대적 훈련이 마진 안정성과 강건성에 미치는 영향을 평가한다.
• 표준 및 적대적으로 훈련된 모델 간의 마진 분포를 비교하여 ℓ₂ 및 ℓ∞ 노름 간의 강건성의 전이 가능성 평가.

실험 결과

연구 질문

• RQ1 딥 네럴 네트워크의 훈련 중 자연 이미지에서 결정 경계까지의 거리는 어떻게 변화하는가?
• RQ2 정확도가 정점에 도달한 후의 훈련 에포크에서도 마진 거리 감소 경향이 계속 유지되는가?
• RQ3 적대적 훈련은 자연 이미지 쪽으로의 결정 경계 수렴을 막을 수 있는가?
• RQ4 정확하게 분류된 이미지와 잘못 분류된 이미지 간의 마진 거리에 유의미한 차이가 있는가?
• RQ5 개선된 마진 안정성이 더 나은 적대적 및 오염 강건성과 얼마나 관련이 깊은가?

주요 결과

• 결정 경계는 훈련 중에 훈련 및 테스트 이미지 모두에 점점 더 가까워지며, 정확도가 정점에 도달한 후의 에포크에서도 마찬가지다.
• 낮은 훈련 및 테스트 오차가 존재하는 상황에서도 자연 데이터 쪽으로의 결정 경계 수렴 경향이 지속되며, 이는 높은 정확도가 강건성을 의미하지는 않음을 시사한다.
• 적대적 훈련은 정확하게 분류된 이미지의 평균 마진을 안정화하거나 증가시키며, 표준 훈련에서 관찰된 감소 경향을 방지한다.
• 잘못 분류된 이미지는 시간이 지남에 따라 일관되게 마진이 감소함을 보이며, 이는 왜곡에 더 취약함을 시사한다.
• 적대적 훈련은 MNIST 및 패션-MNIST에서 ℓ₂ 및 ℓ∞ 노름 간의 강건성 전이를 유도하며, 마진 안정성의 일반화가 향상됨을 시사한다.
• 예측 신뢰도와 실제 마진 거리 사이에 뚜렷한 격차가 있으며, 특히 잘못 분류된 샘플에서 모델 캘리브레이션의 열악함을 시사한다.