[논문 리뷰] Rethinking Feature Distribution for Loss Functions in Image Classification

Weitao Wan, Yuanyi Zhong외 2명|arXiv (Cornell University)|2018. 03. 08.

Adversarial Robustness in Machine Learning참고 문헌 31인용 수 24

한 줄 요약

이 논문은 분류 및 이상 탐지 성능을 향상시키기 위해 딥 페처를 가우시안 믹스처 분포로 모델링하는 Large-margin Gaussian Mixture (L-GM) 손실을 제안한다. 분류 마진과 가능도 정규화를 통합함으로써 L-GM 손실은 모델의 강건성을 향상시키며, 등가 오류율(EER)이 3.1%인 적대적 예제 분류에서 최신 기술을 크게 초월한다.

ABSTRACT

We propose a large-margin Gaussian Mixture (L-GM) loss for deep neural networks in classification tasks. Different from the softmax cross-entropy loss, our proposal is established on the assumption that the deep features of the training set follow a Gaussian Mixture distribution. By involving a classification margin and a likelihood regularization, the L-GM loss facilitates both a high classification performance and an accurate modeling of the training feature distribution. As such, the L-GM loss is superior to the softmax loss and its major variants in the sense that besides classification, it can be readily used to distinguish abnormal inputs, such as the adversarial examples, based on their features' likelihood to the training feature distribution. Extensive experiments on various recognition benchmarks like MNIST, CIFAR, ImageNet and LFW, as well as on adversarial examples demonstrate the effectiveness of our proposal.

연구 동기 및 목표

• 표준 딥 러닝 손실 함수에서 훈련 페처 분포의 명시적 확률 모델링이 부족한 문제를 해결하기 위해.
• 근거가 있는 분포 가정을 통해 내부 클래스의 응집성과 외부 클래스의 분리성을 강제함으로써 모델 일반화를 향상시키기 위해.
• 학습된 분포 하에서의 페처 가능도를 이용해 이상 입력(예: 적대적 예제)을 효과적으로 탐지할 수 있도록 하기 위해.
• 가우시안 믹스처 모델링에 기반한 단일 확률 프레임워크 내에서 분류 손실과 특징 정규화를 통합하기 위해.

제안 방법

• 훈련 세트의 딥 페처가 각 클래스가 하나의 구성요소에 해당하는 가우시안 믹스처(GM) 분포를 따른다고 가정한다.
• GM 가정 하에서 예측된 클래스 확률과 진짜 레이블 간의 교차 엔트로피로 분류 손실을 유도한다.
• 훈련 페처가 가정된 GM 분포를 따르도록 유도하기 위해 가능도 정규화 항을 도입한다.
• 기존 방법과 비교해 마진 강제화가 더 단순해지는 방식으로, 분류 마진을 GM 손실 공식에 직접 통합한다.
• 베이즈 정리를 사용해 후행 확률과 가능도를 계산함으로써 가능도 기반 이상 탐지가 가능해진다.
• 계산과 분석이 용이하도록 단순화된 GM 모델을 사용하며, 공분산은 항등행렬, 사전 확률은 동일하게 설정한다.

실험 결과

연구 질문

• RQ1 딥 페처를 가우시안 믹스처 분포로 모델링하는 것이 분류 성능 향상과 일반화 성능 향상에 기여할 수 있는가?
• RQ2 특징 가능도 기반 탐지에서 L-GM 손실이 소프트맥스 및 센터 손실보다 적대적 예제 탐지 성능에서 어떻게 비교되는가?
• RQ3 통합된 손실 함수가 분류 정확도 최적화와 특징 분포 모델링을 동시에 수행할 수 있는가?
• RQ4 GM 손실 공식에 마진을 통합함으로써 복잡한 보조 거리 측정 기준 없이도 모델의 강건성을 향상시킬 수 있는가?
• RQ5 L-GM 손실에서 유도된 가능도 점수는 정상 입력과 적대적 예제를 어느 정도 효과적으로 구분할 수 있는가?

주요 결과

• L-GM 손실은 적대적 예제 탐지에서 등가 오류율(EER)이 3.1%를 기록하여 센터 손실의 10.2%와 소프트맥스 손실의 37.7%를 크게 뛰어넘는다.
• L-GM 손실은 학습된 훈련 페처 분포 하에서의 낮은 가능도를 통해 적대적 예제를 효과적으로 구분할 수 있으며, 가능도 히스토GRAM과 ROC 곡선을 통해 이를 확인할 수 있다.
• 센터 손실은 L-GM 손실의 가능도 정규화의 특수한 경우로 공식적으로 동치이며, 이는 동일한 확률 프레임워크 내에서 통합됨을 의미한다.
• L-GM 손실은 MNIST, CIFAR, ImageNet, LFW 등 다양한 벤치마크에서 소프트맥스 및 그 변종보다 분류 및 이상 탐지 작업 전반에서 뛰어난 성능을 보인다.
• 특정 FGSM를 이용해 L-GM 손실 하에서 가능도를 높이도록 설계된 적대적 예제들 역시 대부분 탐지 가능하며, EER가 4.3%로 유지되어 이러한 공격에 대해 강건함을 입증한다.