[논문 리뷰] Large Margin Deep Networks for Classification

Gamaleldin F. Elsayed, Dilip Krishnan외 3명|arXiv (Cornell University)|2018. 03. 15.

Adversarial Robustness in Machine Learning참고 문헌 29인용 수 16

한 줄 요약

이 논문은 어떤 선택된 레이어(입력, 히든, 또는 출력)에서 임계값을 크게 유지하기 위해 임의의 lp 노름(p ≥ 1)을 사용하는 새로운 딥러닝 손실 함수를 제안한다. 이는 일반화 성능 향상, 레이블 노이즈에 대한 강건성, 그리고 적대적 공격에 대한 강건성을 향상시킨다. 이 방법은 MNIST, CIFAR-10, ImageNet에서 최신 기술 수준의 성능을 달성하며, 데이터 부족, 노이즈 있는 레이블, 적대적 공격 상황에서 표준 크로스 엔트로피 손실보다 정확도가 높다. 특히 l1 및 l∞ 임계값 제약 조건에서 두드러진 성능 향상을 보인다.

ABSTRACT

We present a formulation of deep learning that aims at producing a large margin classifier. The notion of margin, minimum distance to a decision boundary, has served as the foundation of several theoretically profound and empirically successful results for both classification and regression tasks. However, most large margin algorithms are applicable only to shallow models with a preset feature representation; and conventional margin methods for neural networks only enforce margin at the output layer. Such methods are therefore not well suited for deep networks. In this work, we propose a novel loss function to impose a margin on any chosen set of layers of a deep network (including input and hidden layers). Our formulation allows choosing any norm on the metric measuring the margin. We demonstrate that the decision boundary obtained by our loss has nice properties compared to standard classification loss functions. Specifically, we show improved empirical results on the MNIST, CIFAR-10 and ImageNet datasets on multiple tasks: generalization from small training sets, corrupted labels, and robustness against adversarial perturbations. The resulting loss is general and complementary to existing data augmentation (such as random/adversarial input transform) and regularization techniques (such as weight decay, dropout, and batch norm).

연구 동기 및 목표

• 딥 네트워크의 어떤 레이어에서나(특히 출력 레이어에 국한되지 않고) 대규모 마진을 강제하는 딥러닝 학습 방법을 개발하는 것.
• 마진 기반 정규화를 활용해 데이터 부족 및 레이블 노이즈 상황에서의 일반화 성능 향상.
• 입력 또는 히든 공간에서의 명시적 마진 강제를 통해 적대적 편향에 대한 강건성 향상.
• 표준 딥러닝 기법(예: 배치 정규화, 드롭아웃, 데이터 증강 등)과 호환되는 유연하고 아키텍처에 종속되지 않는 손실 함수 개발.

제안 방법

• 딥 네트워크에서 학습 가능하게 하기 위해 마진의 일阶 근사값을 제안하여 미분 가능하게 만든다.
• 입력 또는 히든 레이어 공간에서 각 훈련 샘플과 결정 경계 사이의 거리에 기반해 lp 노름(p ≥ 1)을 사용해 마진을 정의한다.
• 입력, 히든, 또는 출력 레이어 중 선택된 레이어 집합에 마진 손실를 적용하여 다중 레이어 마진 강제가 가능하도록 한다.
• 마진의 미분 가능한 근사를 사용해 훈련 중에 역전파가 네트워크 전반에 걸쳐 가능하도록 한다.
• 표준 정규화 기법(예: 가중치 감쇠, 드롭아웃, 배치 정규화)과 데이터 증강을 함께 적용한다.
• 각 데이터셋과 작업에 최적화하기 위해 마진 값에 대한 하이퍼파ram터 서치를 수행한다.

실험 결과

연구 질문

• RQ1 히든 레이어에서 대규모 마진을 강제하면 딥 네트워크의 일반화 성능 향상에 기여하는가?
• RQ2 입력 공간에서의 마진 강제는 적대적 편향에 대한 강건성을 향상시키는가?
• RQ3 lp 노름(l1, l2, l∞)의 선택이 다양한 데이터셋과 작업에서 모델 성능에 어떤 영향을 미치는가?
• RQ4 마진 기반 훈련은 기존의 정규화 및 데이터 증강 기법과 공존하고 보완 가능한가?
• RQ5 대규모 마진 훈련은 레이블 노이즈와 제한된 훈련 데이터 상황에서 성능 향상에 기여하는가?

주요 결과

• 80%의 노이즈 레이블이 있는 CIFAR-10에서, l∞ 및 l2 마진 모델은 크로스 엔트로피보다 4%에서 10% 높은 성능을 기록했다.
• 훈련 데이터의 1%만을 사용할 경우, l1 마진 모델은 크로스 엔트로피보다 2.5% 높은 정확도를 달성했다.
• ϵ=0.1인 화이트박스 FGSM 공격에서, l1 마진 모델은 ImageNet에서 44%의 top-1 정확도를 기록했고, 크로스 엔트로피의 33%보다 높았다.
• ϵ=0.1인_BLK박스 IFGSM 공격에서, 마진 모델은 ImageNet에서 59%의 정확도를 기록했고, 크로스 엔트로피의 33%보다 높았다.
• SNR=33 조건에서, l1 마진 모델은 ImageNet에서 82%의 정확도를 달성했으며, 이는 이전 연구 대비 18.7% 상대적 향상이다.
• ImageNet에서 이 방법은 크로스 엔트로피 대비 단위 스텝당 훈련 비용이 1.6배 뿐이어서 계산적으로 실용적이다.