[논문 리뷰] Soft Labeling Affects Out-of-Distribution Detection of Deep Neural Networks

Doyup Lee, Yeongjae Cheon|arXiv (Cornell University)|2020. 07. 07.

Adversarial Robustness in Machine Learning참고 문헌 15인용 수 5

한 줄 요약

이 논문은 소프트 레이블링—특히 오차가 있는 교사 모델에서의 지식 정복—이 추가적인 OOD 훈련 데이터나 모델 아키텍처 변경 없이도 딥 네ural 네트워크에서 OOD 검출 성능을 크게 향상시킬 수 있음을 보여준다. 교사 모델이 이상치 노출을 통해 훈련된 후 소프트 레이블을 전이함으로써, 학생 모델는 분류 정확도와 校정성( calibration)을 유지하거나 향상시키면서도 최신 기술 수준의 OOD 검출 성능을 달성한다.

ABSTRACT

Soft labeling becomes a common output regularization for generalization and model compression of deep neural networks. However, the effect of soft labeling on out-of-distribution (OOD) detection, which is an important topic of machine learning safety, is not explored. In this study, we show that soft labeling can determine OOD detection performance. Specifically, how to regularize outputs of incorrect classes by soft labeling can deteriorate or improve OOD detection. Based on the empirical results, we postulate a future work for OOD-robust DNNs: a proper output regularization by soft labeling can construct OOD-robust DNNs without additional training of OOD samples or modifying the models, while improving classification accuracy.

연구 동기 및 목표

• 딥 네ural 네트워크에서 소프트 레이블링이 OOD 검출 성능에 미치는 영향을 조사하는 것.
• 소프트 레이블링이 OOD 샘플에 대한 명시적 훈련 없이도 OOD 검출 성능을 향상시킬 수 있는지 탐색하는 것.
• 소프트 레이블을 통한 출력 정규화가 동시에 OOD 강건성과 내분포 일반화 성능을 향상시킬 수 있는지 판단하는 것.
• 소프트 레이블 정복을 통해 교사 모델의 OOD 검출 성능을 학생 모델로 이전시키는지 평가하는 것.
• 소프트 레이블링이 일반적으로 OOD 검출 방법 중 하나인 이상치 노출에서 관찰되는 정확도 저하를 완화할 수 있는지 평가하는 것.

제안 방법

• TinyImageNet에서 이상치 노출(OE)을 사용하여 소프트 레이블링을 위한 교사 모델로 WideResNet(WRN-40-2)를 훈련시킨다.
• 훈련된 교사 모델을 사용하여 내분포 훈련 샘플에 대해 소프트 레이블(모든 클래스에 대한 확률 분포)을 생성한다.
• 학습 중에 OOD 샘플을 사용하지 않고도 교사 모델의 소프트 레이블을 사용하여 교육 모델(동일하거나 다른 아키텍처)을 교육한다.
• 레이블 스무딩과 지식 정복을 소프트 레이블링의 구체적 형태로 사용하며, 진짜 타겟과 소프트 타겟의 가중 조합을 통한 교차 엔트로피 손실로 수식화한다.
• AUROC를 사용하여 여러 OOD 데이터셋(MNIST, Fashion-MNIST, LSUN, TinyImageNet 등)에서 OOD 검출 성능을 평가하고, 기대 캘리브레이션 오차(ECE)를 통해 캘리브레이션 수준을 평가한다.
• 기본 모델, 이상치 노출 모델, 정복된 학생 모델 간의 성능을 비교하여 소프트 레이블링이 OOD 강건성에 미치는 영향을 분리하여 분석한다.

실험 결과

연구 질문

• RQ1 소프트 레이블링은 딥 네ural 네트워크의 OOD 검출 성능에 어떤 영향을 미치는가?
• RQ2 이상치 노출을 통해 훈련된 교사 모델에서의 지식 정복을 통해, 학생 모델 훈련 시 OOD 샘플을 사용하지 않고도 강건한 OOD 검출 성능을 전이할 수 있는가?
• RQ3 소프트 레이블링은 OOD 검출 성능과 내분포 분류 정확도를 동시에 향상시킬 수 있는가? 이는 일반적으로 이상치 노출에서 관찰되는 정확도 저하와의 상충관계를 해소하는가?
• RQ4 학습된 학생 모델의 OOD 검출 성능은 그 교사가 생성한 소프트 레이블에 의존하는가? 이 효과는 아키텍처 간에 일반화 가능한가?
• RQ5 OOD 데이터나 모델 수정 없이도, 소프트 레이블링 전략을 설계하여 DNN이 알려지지 않은 OOD 샘플에 대해 강건성을 확보할 수 있는가?

주요 결과

• 이상치 노출를 거친 교사 모델에서의 지식 정복을 통해, 학생 모델는 내분포 데이터만으로 훈련되더라도 높은 OOD 검출 성능을 성공적으로 전이한다.
• 교사 모델이 MNIST+TinyImageNet에서 노출된 경우, 학생 모델는 MNIST와 TinyImageNet을 포함한 여러 OOD 데이터셋에서 교사 모델과 유사하거나 더 높은 AUROC 점수를 달성한다.
• 기본 모델 대비 학생 모델의 테스트 정확도와 기대 캘리브레이션 오차(ECE)는 향상되거나 유지되며, 일반적으로 이상치 노출에서 관찰되는 정확도 저하 현상을 완화한다.
• 레이블 스무딩은 OOD 검출 성능을 떨어뜨리므로, 소프트 레이블링 전략의 선택이 OOD 강건성에 매우 중요하다는 것을 시사한다.
• 학습된 학생 모델의 OOD 검출 성능은 교사 모델의 성능과 매우 유사하며, 이는 소프트 레이블링 효과가 아키텍처에 관계없이 일반화 가능하고 다양한 아키텍처(예: WRN과 DenseNet) 간에 전이 가능하다는 것을 보여준다.
• 잘 훈련된 교사 모델을 통해 잘못된 클래스에 대한 예측을 정규화하는 소프트 레이블링 전략을 설계하면, 추가적인 OOD 데이터나 모델 수정 없이도 OOD에 강건한 DNN을 구축할 수 있다.