[논문 리뷰] Softmax-based Classification is k-means Clustering: Formal Proof, Consequences for Adversarial Attacks, and Improvement through Centroid Based Tailoring

Sibylle Hess, Wouter Duivesteijn외 1명|arXiv (Cornell University)|2020. 01. 07.

Adversarial Robustness in Machine Learning참고 문헌 30인용 수 7

한 줄 요약

이 논문은 소프트맥스 기반 신경망 분류가 최종층의 변환된 특징 공간에서 k-means 군집화와 수학적으로 동치임을 공식적으로 증명한다. 최종층을 중심점 기반 활성화(가우스 네트워크)로 재정의함으로써, 한 픽셀 이상의 적대적 공격에 대해 더 높은 강건성을 확보하였으며, 취약도가 2.7배에서 6.8배까지 감소하였다. 이와 동시에 경쟁적인 정확도를 유지하면서 이상치 입력에 대해 합리적인 의심을 표현할 수 있다.

ABSTRACT

We formally prove the connection between k-means clustering and the predictions of neural networks based on the softmax activation layer. In existing work, this connection has been analyzed empirically, but it has never before been mathematically derived. The softmax function partitions the transformed input space into cones, each of which encompasses a class. This is equivalent to putting a number of centroids in this transformed space at equal distance from the origin, and k-means clustering the data points by proximity to these centroids. Softmax only cares in which cone a data point falls, and not how far from the centroid it is within that cone. We formally prove that networks with a small Lipschitz modulus (which corresponds to a low susceptibility to adversarial attacks) map data points closer to the cluster centroids, which results in a mapping to a k-means-friendly space. To leverage this knowledge, we propose Centroid Based Tailoring as an alternative to the softmax function in the last layer of a neural network. The resulting Gauss network has similar predictive accuracy as traditional networks, but is less susceptible to one-pixel attacks; while the main contribution of this paper is theoretical in nature, the Gauss network contributes empirical auxiliary benefits.

연구 동기 및 목표

• 딥 네트워크 내에서 소프트맥스 분류와 k-means 군집화 간의 수학적 동치성을 공식적으로 확립하는 것.
• 변환된 특징 공간 내 기하학적 및 근접 기반 분석을 통해 소프트맥스 네트워크가 한 픽셀 적대적 공격에 특히 취약한 이유를 설명하는 것.
• 소프트맥스 함수의 이론적 기반 대체를 개발하여, 네트워크 출력이 k-means 우호적인 군집화 행동과 일치하도록 강건성을 향상시키는 것.
• 신경망이 분포 외 또는 적대적으로 변형된 입력에 대해 합리적인 의심을 표현할 수 있도록 하여 해석 가능성과 안전성을 향상시키는 것.
• 최종층에서 직접 군집 중심을 학습하는 트레이너블이고, 근접 최적화 기반의 방법을 제안하여 일반화 및 강건성을 향상시키는 것.

제안 방법

• 소프트맥스 함수가 최종층 이전의 특징 공간을 각 클래스에 해당하는 베이저론 유사 원뿔으로 분할함을 증명하며, 이는 원점에서 등거리에 있는 중심점과 함께 k-means 군집화와 수학적으로 동치임을 보임.
• 학습된 중심점으로부터 입력 특징까지의 거리를 기반으로 하는 새로운 최종층 활성화 함수—가우스 네트워크—를 제안하며, 기존의 소프트맥스를 대체함.
• 직접 군집 중심을 표현하도록 네트워크 가중치를 최적화하는 근접 최소화 업데이트 규칙을 도입하여, 모델이 k-means 우호적인 표현을 학습하도록 보장함.
• 새로운 손실 함수를 사용하여 표준 backpropagation로 가우스 네트워크를 훈련함으로써, 엔드 투 엔드 학습을 유지하면서도 높은 예측 정확도를 확보함.
• 가우스 신뢰도 점수를 사용하여 가장 가까운 클래스 프로토타입까지의 거리를 측정함으로써, 불확실하거나 이상치 예측을 경고할 수 있도록 함.
• CIFAR-10과 MNIST에서 FGSM 및 한 픽셀 공격을 사용하여 강건성을 평가하며, 정확도, 신뢰도, 이상치 탐지 성능을 비교함.

실험 결과

연구 질문

• RQ1 딥 네트워크 내에서 소프트맥스 기반 분류와 k-means 군집화 사이에 공식적인 수학적 동치성이 존재하는가?
• RQ2 왜 소프트맥스 기반 네트워크는 한 픽셀 적대적 공격에 특히 취약한가? 이 취약성은 특징 공간의 기하학적 성질과 어떻게 관련이 있는가?
• RQ3 명시적으로 군집 중심을 모델링하는 재구성된 최종층이 정확도를 희생시키지 않고도 소규모 입력 변형에 대해 강건성을 향상시킬 수 있는가?
• RQ4 학습된 중심점까지의 근접도를 측정함으로써, 모델이 적대적 또는 분포 외 입력에 대해 얼마나 합리적인 의심을 표현할 수 있는가?
• RQ5 네트워크의 리프시츠 모odulus는 중심점까지의 근접도와 어떻게 관련이 있으며, 이 근접도는 리프시츠 연속성 외에 별개로 강건성에 영향을 미치는가?

주요 결과

• 논문은 소프트맥스 분류가 최종층 이전의 특징 공간에서 중심점 주위의 원뿔 형태로 각 클래스에 대응하는 영역으로 분할되며, 이는 k-means 군집화와 수학적으로 동치임을 공식적으로 증명하였다.
• 작은 리프시츠 모odulus를 가진 네트워크는 입력을 해당 클래스 중심점에 더 가깝게 매핑하며, 이는 특징 공간을 k-means 우호적으로 만들고 강건성을 향상시킨다.
• 소프트맥스를 중심점 기반 활성화로 대체한 가우스 네트워크를 통해, CIFAR-10에서 한 픽셀 공격에 취약한 이미지 비율이 2.7배에서 6.8배까지 감소하였다.
• MNIST에서는 가우스 네트워크가 노이즈 상황에서도 높은 정확도를 유지하며, 명확한 숫자(프로토타입)와 이상치(추상적 또는 왜곡된 숫자)를 더 잘 구분하며, 신뢰도 점수가 인간의 인지와 유사하게 반영된다.
• 기존 네트워크는 노이즈 이미지에 대해 높은 신뢰도(>0.9)를 부여하지만, 가우스 네트워크는 이러한 이상치에 거의 0에 가까운 신뢰도를 제공함으로써 합리적인 의심을 표현할 수 있음을 보였다.
• 가우스 네트워크의 신뢰도 점수는 평균 약 0.56으로 보다 균일하게 분포되어 있으며, 기존 네트워크(평균 약 0.98)보다 과신 경향이 줄어들고 보정이 향상됨을 나타낸다.