[논문 리뷰] Pay attention to your loss: understanding misconceptions about 1-Lipschitz neural networks

Louis Béthune, Thibaut Boissin외 4명|arXiv (Cornell University)|2021. 04. 11.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 1-Lipschitz 신경망(LipNet1)이 제약이 없는 네트워크(AllNet)보다 표현력이나 정확도가 떨어진다는 오해를 도전한다. LipNet1 네트워크가 무작위 레이블이 부여된 CIFAR-100에서 최신 기준 정확도(99.96%)를 달성하고, 분류 작업에서 AllNet 성능을 재현하며, 특히 온도 스케줄링을 통한 정교한 손실 하이퍼파rameter 조정을 통해 증명 가능한 강건성과 일반화 이점을 제공함을 보여준다.

ABSTRACT

Lipschitz constrained networks have gathered considerable attention in the deep learning community, with usages ranging from Wasserstein distance estimation to the training of certifiably robust classifiers. However they remain commonly considered as less accurate, and their properties in learning are still not fully understood. In this paper we clarify the matter: when it comes to classification 1-Lipschitz neural networks enjoy several advantages over their unconstrained counterpart. First, we show that these networks are as accurate as classical ones, and can fit arbitrarily difficult boundaries. Then, relying on a robustness metric that reflects operational needs we characterize the most robust classifier: the WGAN discriminator. Next, we show that 1-Lipschitz neural networks generalize well under milder assumptions. Finally, we show that hyper-parameters of the loss are crucial for controlling the accuracy-robustness trade-off. We conclude that they exhibit appealing properties to pave the way toward provably accurate, and provably robust neural networks.

연구 동기 및 목표

• 1-Lipschitz 신경망이 제약이 없는 네트워크보다 표현력이나 정확도가 떨어진다는 광범위한 오해를 해소하는 것.
• 새로운 강건성 지표를 사용하여 1-Lipschitz 네트워크에서 정확도와 강건성 간의 트레이드오프를 규명하는 것.
• 1-Lipschitz 네트워크에 대한 이론적 일반화 보장을 수립하는 것—특히 네트워크 크기와 무관한 PAC-학습 가능성 포함.
• 손실 함수의 하이퍼파ram터—특히 온도—가 정확도-강건성 트레이드오프를 어떻게 조절하는지 밝혀내는 것.
• LipNet1 네트워크가 임의로 복잡한 决定 경계를 가질 수 있고, 일致적인 추정자임을 보여주는 것.

제안 방법

• 저자들은 이진 분류에서 Lipschitz 제약의 이론적 분석을 수행하여, 모든 AllNet 분류기가 동일한 决定 경계를 유지하는 1-Lipschitz 등가로 재스케일링될 수 있음을 보여준다.
• 1-Lipschitz 제약 하에서의 적대적 강건성을 평가하기 위해 평균 인증 가능한 강건성(MCR) 기반의 강건성 지표를 도입한다.
• 훈련 중에 온도 스케줄링을 적용한 손실 함수를 사용하여, 온도가 정확도와 강건성 간의 트레이드오프를 제어함을 보장한다.
• 1-Lipschitz 네트워크가 일致한 추정자임을 증명한다: 데이터셋 크기가 증가함에 따라 훈련 손실이 테스트 손실에 수렴한다.
• 마진 기반 1-Lipschitz 분류기의 경우 PAC-학습 가능성을 확립하며, 일반화 경계가 네트워크 폭과 무관함을 보여준다.
• Empirical 검증은 ResNet 스타일 아키텍처를 사용하여 CIFAR-100과 Fashion-MNIST에서 수행되었으며, 1-Lipschitz 제약을 강제하기 위해 가중치 정규화와 스펙트럼 정규화를 적용하였다.

실험 결과

연구 질문

• RQ1 1-Lipschitz 신경망은 분류 작업에서 제약이 없는 네트워크와 동일한 정확도를 달성할 수 있는가?
• RQ2 1-Lipschitz 네트워크에서 정확도와 강건성 간 최적의 트레이드오프는 무엇이며, 어떤 네트워크 아키텍처가 이를 달성하는가?
• RQ3 더 약한 가정 하에 1-Lipschitz 네트워크가 제약이 없는 네트워크보다 더 잘 일반화되는가?
• RQ4 손실 함수의 하이퍼파ram터—특히 온도—는 정확도-강건성 트레이드오프에 어떻게 영향을 미치는가?
• RQ5 1-Lipschitz 네트워크의 일반화성과 강건성에 대한 이론적 기반은 존재하는가?

주요 결과

• 1-Lipschitz 신경망은 무작위 레이블이 부여된 CIFAR-100에서 99.96%의 정확도를 달성하여, 제약이 없는 네트워크보다 표현력이 떨어진다는 주장이 잘못되었음을 입증한다.
• 가장 높은 정확도를 보이는 1-Lipschitz 분류기는 부호 거리 함수이며, 가장 강건한 분류기는 인증 가능한 강건성을 최대화하는 WGAN 디스크리미네이터이다.
• 정확도-강건성 트레이드오프는 네트워크 초기화 또는 훈련 스케줄이 아닌, 최종 온도 하이퍼파ram터 τ에 의해 유일하게 제어된다.
• 더 큰 아키텍처는 파레토 프론트를 더 높은 정확도와 더 높은 강건성 쪽으로 이동시키며, 표현력이 넓이에 따라 증가함을 확인한다.
• LipNet1 네트워크는 일치하는 추정자이다: 훈련 세트 크기가 증가함에 따라 훈련 손실이 테스트 손실에 수렴한다.
• 마진 기반 1-Lipschitz 분류기는 PAC-학습 가능하며, 일반화 경계가 네트워크 크기와 무관하여 매우 넓은 네트워크를 과적합 없이 훈련시킬 수 있다.