[논문 리뷰] Understanding Square Loss in Training Overparametrized Neural Network Classifiers

Tianyang Hu, Jun Wang외 2명|arXiv (Cornell University)|2021. 12. 07.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 과다매개변수화된 신경망 분류기에서 제곱 손실의 이론적 및 실증적 분석을 제공하며, 일반화 및 校정 오차에서 빠른 수렴, 분리 가능한 경우 지수 수렴, 뛰어난 강건성을 달성함을 보여준다. 제곱 손실과 단순체 코딩을 조합하면 교차 엔트로피보다 더 나은 校정 및 적대적 강건성을 보이며, 특히 노이즈와 적대적 공격 하에서 유리하다.

ABSTRACT

Deep learning has achieved many breakthroughs in modern classification tasks. Numerous architectures have been proposed for different data structures but when it comes to the loss function, the cross-entropy loss is the predominant choice. Recently, several alternative losses have seen revived interests for deep classifiers. In particular, empirical evidence seems to promote square loss but a theoretical justification is still lacking. In this work, we contribute to the theoretical understanding of square loss in classification by systematically investigating how it performs for overparametrized neural networks in the neural tangent kernel (NTK) regime. Interesting properties regarding the generalization error, robustness, and calibration error are revealed. We consider two cases, according to whether classes are separable or not. In the general non-separable case, fast convergence rate is established for both misclassification rate and calibration error. When classes are separable, the misclassification rate improves to be exponentially fast. Further, the resulting margin is proven to be lower bounded away from zero, providing theoretical guarantees for robustness. We expect our findings to hold beyond the NTK regime and translate to practical settings. To this end, we conduct extensive empirical studies on practical neural networks, demonstrating the effectiveness of square loss in both synthetic low-dimensional data and real image data. Comparing to cross-entropy, square loss has comparable generalization error but noticeable advantages in robustness and model calibration.

연구 동기 및 목표

• 딥 러닝 분류기에서 제곱 손실의 실증적 성공에 대한 이론적 근거를 제공하는 것, 특히 과다매개변수화된 설정에서.
• 제곱 손실이 분리 가능하고 분리 불가능한 분류 설정 모두에서 일반화 오차, 校정 오차, 강건성에 미치는 영향을 조사하는 것.
• 제곱 손실과 교차 엔트로피를 비교하여 모델의 校정, 적대적 강건성, 가우시안 노이즈 하에서의 성능을 평가하는 것.
• 특히 one-hot 및 단순체 코딩과 같은 레이블 코딩 방식이 제곱 손실 성능에 미치는 영향을 평가하는 것.
• 제곱 손실 분류기의 강건성을 더 정확히 평가하기 위해 제곱 손실에 특화된 새로운 역공격(각도 공격)을 개발하고 검증하는 것.

제안 방법

• 신경 터널링 커널(NTK) 영역에서 제곱 손실을 분석하여 오분류 및 校정 오차의 이론적 수렴 속도를 도출한다.
• 제곱 손실 하에서 최적의 분류기를 $2\eta - 1$로 도출하며, 이는 진정한 조건부 확률 $\eta$에 대해 선형이므로 더 나은 校정을 가능하게 한다.
• 제곱 손실을 최대화하는 대신余弦 유사도를 최대화하는 각도 공격을 제안하여 제곱 손실 모델의 더 강한 적대적 취약성을 드러낸다.
• CIFAR-10 및 CIFAR-100에서 백색 상자(예: PGD) 및_BLK 상자(예: AutoAttack) 공격을 통해 강건성을 평가한다.
• 표준편차 0.1에서 0.4까지의 가우시안 노이즈를 주입하여 노이즈에 대한 강건성을 평가하고 정확도 감소를 측정한다.
• one-hot 및 단순체 레이블 코딩 방식을 비교하며, 단순체 코딩이 더 깊은 네트워크인 WRN-16-10에서 성능 향상을 보임을 확인한다.

실험 결과

연구 질문

• RQ1 과다매개변수화된 NTK 영역에서 제곱 손실은 일반화 및 校정 오차 측면에서 어떻게 성능을 발휘하는가?
• RQ2 분리 가능하고 분리 불가능한 데이터에 대해 제곱 손실 하에서 오분류 오차 및 校정 오차의 이론적 수렴 속도는 무엇인가?
• RQ3 특히 PGD 및 AutoAttack 공격 하에서 제곱 손실은 교차 엔트로피보다 어떻게 다른가?
• RQ4 레이블 코딩(One-hot 대비 단순체)은 제곱 손실 분류기 성능에 어떤 영향을 미치는가?
• RQ5 표준 제곱 손실 최대화보다 더 강력한 취약성을 드러내는 특화된 공격(각도 공격)은 제곱 손실 모델에 대해 더 강력한 위험을 드러내는가?

주요 결과

• 비분리 가능한 경우, NTK 영역에서 제곱 손실은 오분류율과 校정 오차 모두 빠른 수렴 속도를 달성한다.
• 클래스가 분리 가능한 경우, 제곱 손실 하에서 오분류율은 지수적으로 매우 빠르게 수렴하며, 마진는 0에서 멀리 떨어져 있어 강건성을 보장한다.
• 제곱 손실로 훈련된 모델은 교차 엔트로피와 유사한 일반화 오차를 보이지만, 적대적 공격 하에서 훨씬 더 나은 校정 및 강건성을 보인다.
• CIFAR-10 및 CIFAR-100에서 제곱 손실 모델은 가우시안 노이즈 하에서도 더 높은 정확도를 유지한다(예: ResNet-18에서 σ=0.1일 때 90.07% vs. 교차 엔트로피의 90.03%), 이는 노이즈에 대한 뛰어난 강건성을 시사한다.
• 각도 공격은 제곱 손실 모델에 대해 표준 PGD 공격보다 더 높은 성능을 보이며, 이는 표준 공격이 이러한 모델의 취약성을 과소평가할 수 있음을 시사한다.
• 단순체 코딩은 항상 스케일된 one-hot 코딩을 능가하며, 특히 더 깊은 네트워크인 WRN-16-10에서 79.65%의 테스트 정확도를 기록하여 one-hot 코딩의 78.39%를 상회한다.