[논문 리뷰] RegMixup: Mixup as a Regularizer Can Surprisingly Improve Accuracy and Out Distribution Robustness

Francesco Pinto, Harry Yang외 3명|arXiv (Cornell University)|2022. 06. 29.

Anomaly Detection Techniques and Applications인용 수 14

한 줄 요약

RegMixup는 표준 교차 엔트로피 손실과 함께 Mixup를 정규화 요소로 사용하는 단순하면서도 효과적인 방법을 제안한다. 이는 모델의 정확도, 불확실성 추정 및 분포 외(ood)에 대한 강건성에 크게 기여한다. 경험적 리스크 최소화와 이웃 리스크 최소화를 조합함으로써, Mixup가 모든 입력에 대해 고엔트로피 예측을 생성하는 경향을 완화하여 ImageNet, CIFAR-10/100 및 다양한 분포 이탈 및 ood 탐지 벤치마크에서 뛰어난 성능을 달성한다.

ABSTRACT

We show that the effectiveness of the well celebrated Mixup [Zhang et al., 2018] can be further improved if instead of using it as the sole learning objective, it is utilized as an additional regularizer to the standard cross-entropy loss. This simple change not only provides much improved accuracy but also significantly improves the quality of the predictive uncertainty estimation of Mixup in most cases under various forms of covariate shifts and out-of-distribution detection experiments. In fact, we observe that Mixup yields much degraded performance on detecting out-of-distribution samples possibly, as we show empirically, because of its tendency to learn models that exhibit high-entropy throughout; making it difficult to differentiate in-distribution samples from out-distribution ones. To show the efficacy of our approach (RegMixup), we provide thorough analyses and experiments on vision datasets (ImageNet & CIFAR-10/100) and compare it with a suite of recent approaches for reliable uncertainty estimation.

연구 동기 및 목표

• 표준 Mixup가 일반적으로 예측 엔트로피를 균일하게 높이는 경향을 보여, 분포 외(OOD) 탐지 성능이 떨어지는 문제를 해결하기 위해.
• 내분포 정확도를 희생시키지 않고도 공변량 이탈 및 ood 시나리오에서의 불확실성 추정과 강건성을 향상시키기 위해.
• 복잡한 앙상블 및 불확실성 인식 모델보다 뛰어난 성능을 보이는 단순하고 효율적이며 아키텍처에 종속되지 않는 방법을 개발하기 위해.
• 혼합 손실 목표를 통해 Mixup를 표준 교차 엔트로피 손실과 결합함으로써 일반화 및 신뢰성 향상이 가능함을 입증하기 위해.
• 실제 운영 환경에서의 신뢰성 향상을 크게 향상시키는 단순한 Mixup 수정 방법을 제공하기 위해.

제안 방법

• RegMixup는 깨끗한 샘플에 대한 표준 교차 엔트로피 손실과, 보간된 샘플에 대한 Mixup 기반 손실을 조합한 손실을 사용하여 모델을 훈련시킨다.
• 모델은 진정한 데이터 분포를 더 잘 근사하기 위해 경험적 리스크 최소화(ERM)와 이웃 리스크 최소화(VRM) 목표를 명시적으로 조합한다.
• 각 훈련 배치에서, 원본 입력에 대한 교차 엔트로피 손실과 보간된 입력에 대한 Mixup 손실의 가중 평균을 계산한다.
• 보간 계수 λ는 Beta(α, α) 분포에서 샘플되며, 모델은 두 손실의 합을 최소화하도록 훈련된다.
• 이 방법은 아키텍처 변경이 필요 없으며, 추가 파라미터도 필요 없고, 어떤 딥러닝 모델과도 호환된다.
• 이 방법은 ImageNet-1K, CIFAR-10/100 및 그 공변량 이탈 변형, 다양한 벤치마크 데이터셋에서의 ood 탐지에 대해 평가되었다.

실험 결과

연구 질문

• RQ1 Mixup를 정규화 요소로 개선하여 내분포 정확도와 분포 외 강건성을 동시에 향상시킬 수 있는가?
• RQ2 표준 Mixup가 내분포와 분포 외 샘플을 구분하지 못하는 이유는 무엇이며, 이를 수정할 수 있는가?
• RQ3 표준 교차 엔트로피 손실과 결합된 Mixup는 단독으로 사용할 때보다 더 나은 불확실성 추정을 이끌 수 있는가?
• RQ4 단일 모델 기반의 단순한 비앙상블 방법이 비용이 많이 드는 깊은 앙상블 모델보다 ood 탐지에서 뛰어난 성능을 낼 수 있는가?
• RQ5 SNGP 및 DUQ와 같은 최신 기술과 비교했을 때 RegMixup는 정확도 및 불확실성 校정 측면에서 어떤가?

주요 결과

• RegMixup는 ImageNet-1K, CIFAR-10/100 및 그 공변량 이탈 변형에서 최신 기술 수준의 성능을 달성하며, 표준 Mixup 및 최근 최고 성능 모델을 모두 능가한다.
• 공변량 이탈이 있는 CIFAR-100에서 RegMixup는 83.92%의 정확도와 55.50%의 AUROC를 기록하여 CutMix(80.21% 및 45.23%)와 RegCutMix(79.07% 및 44.64%)를 모두 능가한다.
• SVHN ood 탐지에서 RegMixup는 90.23%의 AUROC를 기록하여 ViT-Mixup+CutMix(85.36%)와 ViT-RegMixup+CutMix(86.44%)를 크게 능가한다.
• ResNet50를 사용한 CIFAR-10에서 RegMixup는 97.47%의 정확도와 79.10%의 AUROC를 기록하여 Mixup+CutMix(97.23% 및 77.60%)와 ViT-RegMixup+RegCutMix(96.47% 및 75.36%)를 모두 초월한다.
• 다양한 벤치마크에서 RegMixup는 단일 결정론적 모델이지만 깊은 앙상블보다 ood 탐지에서 뛰어난 성능을 보였다.
• 모델이 모든 입력에 대해 고엔트로피를 할당하는 경향을 크게 줄여 내분포와 분포 외 샘플 간의 구분 능력을 향상시켰다.