[논문 리뷰] Deep pNML: Predictive Normalized Maximum Likelihood for Deep Neural Networks

Koby Bibas, Yaniv Fogel외 1명|arXiv (Cornell University)|2019. 04. 28.

Adversarial Robustness in Machine Learning참고 문헌 23인용 수 12

한 줄 요약

이 논문은 깊이 있는 신경망을 위한 예측형 정규화 최대 가능도 프레임워크인 Deep pNML을 제안하며, 표준 ERM보다 정확도와 로그 손실에서 뛰어난 성능을 보이며, 특히 노이즈가 있는 레이블과 대비 공격 상황에서 유리하다. 이는 각 데이터 포인트의 학습 가능도를 측정하는 지표(Γ)를 도입하여 분포 외 및 대비 샘플을 탐지하고, 모델 클래스 선택을 위한 '두 번째로 보편적인' 기법으로 확장하여 CIFAR10과 MNIST에서 다양한 DNN 아키텍처와 하이퍼파라미터에 걸쳐 뛰어난 성능을 달성한다.

ABSTRACT

The Predictive Normalized Maximum Likelihood (pNML) scheme has been recently suggested for universal learning in the individual setting, where both the training and test samples are individual data. The goal of universal learning is to compete with a ``genie'' or reference learner that knows the data values, but is restricted to use a learner from a given model class. The pNML minimizes the associated regret for any possible value of the unknown label. Furthermore, its min-max regret can serve as a pointwise measure of learnability for the specific training and data sample. In this work we examine the pNML and its associated learnability measure for the Deep Neural Network (DNN) model class. As shown, the pNML outperforms the commonly used Empirical Risk Minimization (ERM) approach and provides robustness against adversarial attacks. Together with its learnability measure it can detect out of distribution test examples, be tolerant to noisy labels and serve as a confidence measure for the ERM. Finally, we extend the pNML to a ``twice universal'' solution, that provides universality for model class selection and generates a learner competing with the best one from all model classes.

연구 동기 및 목표

• 개별 설정에서 최적의 지네 학습자와 경쟁할 수 있는 보편적인 딥 네ural 네트워크 학습 프레임워크를 개발하는 것.
• 최소-최대 손실 기반의 지점별 학습 가능도 측정치(Γ)를 도입하여 특정 데이터 포인트의 학습 난이도를 정량화하는 것.
• 표준 ERM에 비해 노이즈가 있는 레이블과 대비 예측에 대한 강건성을 향상시키는 것.
• pNML 프레임워크를 다양한 모델 클래스(예: 미세조정 레이어 수 등) 간의 최적 선택을 가능하게 하는 '두 번째로 보편적인' 기법으로 확장하는 것.
• 표준 벤치마크(CIFAR10, MNIST)에서의 방법 검증을 통해 정확도, 로그 손실, 일반화 탐지 능력에서의 슈퍼리어한 성능을 입증하는 것.

제안 방법

• pNML 예측기는 q_pNML(y|z^N;x) = max_θ p_θ(y|x,z^N) / sum_y max_θ p_θ(y|x,z^N)로 정의되며, 최적의 최소-최대 손실을 보장한다.
• 손실 Γ = log(sum_y max_θ p_θ(y|x,z^N))는 개별 데이터 포인트에 대한 학습 가능도를 지점별로 측정하는 지표로 사용된다.
• 각 테스트 샘플에 대해 모델 파라미터를 최적화하는 미세조정 단계를 사용하여 pNML이 각 테스트 인스턴스에 맞게 적응할 수 있도록 한다.
• 두 번째로 보편적인 접근법은 여러 모델 클래스(예: 다른 수의 미세조정 레이어)에 대해 pNML을 조합하고, 각 테스트 샘플에 대해 가장 성능이 좋은 모델을 선택한다.
• 표준 DNN를 사용하여 로그 손실을 평가 지표로 삼고, pNML은 모델 파라미터에 대한 최대화를 통해 계산된다.
• 정확도, 로그 손실, 손실을 평가 지표로 사용하여 CIFAR10과 MNIST에서 ERM 및 지네 기준과의 비교를 통해 방법을 평가한다.

실험 결과

연구 질문

• RQ1 pNML 프레임워크는 깊이 있는 신경망에 효과적으로 적용되어 ERM을 초월하는 일반화 성능을 달성할 수 있는가?
• RQ2 pNML 손실 측정치(Γ)는 DNN에서 개별 데이터 포인트의 학습 가능도를 신뢰할 수 있는 지점별 지표로 기능하는가?
• RQ3 노이즈가 있는 학습 레이블과 대비 테스트 샘플 상황에서 pNML은 ERM보다 어떻게 성능을 내는가?
• RQ4 모델 클래스(예: 미세조정 레이어 수 등) 간의 선택을 수행하는 '두 번째로 보편적인' pNML 접근법은 ERM과 단일 클래스 pNML보다 뛰어난 성능을 낼 수 있는가?
• RQ5 pNML 프레임워크는 분포 외 및 대비 테스트 샘플을 탐지할 정도로 충분히 강건한가?

주요 결과

• CIFAR10에서 두 번째로 보편적인 pNML은 테스트 정확도 0.920과 로그 손실 0.168을 기록하여 모든 개별 모델 클래스를 압도하고 최고의 ERM 성능과 동일한 성능을 달성했다.
• MNIST에서 두 번째로 보편적인 pNML은 정확도 0.950과 로그 손실 0.081을 기록하여 단일 모델 pNML과 ERM 모두를 뛰어넘었다.
• 노이즈 레이블 상황(ε=0.05)에서 pNML은 0.27의 정확도와 1.72의 로그 손실을 유지하였으며, ERM의 0.26 정확도와 3.22 로그 손실보다 유의미하게 뛰어났다.
• pNML 손실 측정치(Γ)는 분포 외 및 대비 샘플을 효과적으로 탐지하였으며, 높은 손실 값은 낮은 신뢰도와 높은 이상치 가능성과 관련이 있었다.
• pNML 프레임워크는 FGSM 공격 하에서 ERM보다 낮은 로그 손실과 높은 정확도를 유지하여 대비 공격에 대해 뛰어난 강건성을 보였다.
• 지점별 손실 측정치 Γ는 다른 일반화 측정치(예: VC 차원)가 실패하는 '학습 가능한' 상황에서도 DNN에 대해 정보가 풍부하고 타당한 것으로 확인되었다.