[논문 리뷰] mixup: Beyond Empirical Risk Minimization

Hongyi Zhang, Moustapha Cissé외 2명|arXiv (Cornell University)|2017. 10. 25.

Adversarial Robustness in Machine Learning참고 문헌 29인용 수 4,731

한 줄 요약

이 논문은 mixup을 소개하는데, 입력 쌍과 그 레이블을 보간하여 신경망을 규제하고 일반화 및 로버스트니스를 향상시키는 간단한 vicinal risk minimization 기법으로, 비전, 음성 및 표 형식 작업 전반에 걸쳐 일반화와 강건성을 향상시킵니다.

ABSTRACT

Large deep neural networks are powerful, but exhibit undesirable behaviors such as memorization and sensitivity to adversarial examples. In this work, we propose mixup, a simple learning principle to alleviate these issues. In essence, mixup trains a neural network on convex combinations of pairs of examples and their labels. By doing so, mixup regularizes the neural network to favor simple linear behavior in-between training examples. Our experiments on the ImageNet-2012, CIFAR-10, CIFAR-100, Google commands and UCI datasets show that mixup improves the generalization of state-of-the-art neural network architectures. We also find that mixup reduces the memorization of corrupt labels, increases the robustness to adversarial examples, and stabilizes the training of generative adversarial networks.

연구 동기 및 목표

• 대형 신경망에서 경험적 위험 최소화(ERM)의 한계(메모라이제이션 및 적대적 민감성 포함)를 동기화합니다.
• 훈련 분포를 볼록한 입력-레이블 보간을 통해 확장하는 간단하고 데이터 독립적인 증강 기법인 mixup을 제안합니다.
• ImageNet, CIFAR, 음성 및 표 형식 데이터에서 일반화가 향상되고 손상된 레이블의 메모라이제이션이 줄며 적대적 예에 대한 취약성이 감소하는 것을 보여줍니다.
• 데자인 선택의 영향력을 얼개 연구(ablation studies)를 통해 탐구하고 mixup을 데이터 증강 및 규제에 관한 기존 연구와 연계합니다.]

제안 방법

• mixup vicinal 분포를 정의하기 위해 두 개의 학습 샘플과 Beta 분포의 보간 계수를 샘플링하여 합성 입력과 볼록하게 결합된 레이블을 형성합니다.
• 이 합성 쌍에서 네트워크를 학습시켜 모델의 동작이 학습 샘플 간의 근방에서 대략 선형이 되도록 만듭니다.
• 알파가 0에 가까워질 때 ERM이 회복되도록 최소한의 계산 오버헤드로 mixup을 구현합니다.
• (interpolation targets(입력과 레이블), interpolation degree, 대안 증강 전략)에 대한 얼개 연구를 수행합니다.
• ImageNet, CIFAR-10/100, Google commands, UCI 데이터셋에서 일반화 및 로버스트니스 이점을 확립합니다.
• mixup이 판별기 기울기를 규제하여 GAN 학습을 안정화시키는 것을 보여줍니다.]

실험 결과

연구 질문

• RQ1 mixup이 대규모 비전 데이터셋 및 다른 모달리티에서 표준 ERM에 비해 일반화를 향상시키나요?
• RQ2 보간 강도(alpha)가 학습 역학, 메모라이제이션, 손상된 레이블 또는 적대적 예에 대한 로버스트성에 어떤 영향을 미치나요?
• RQ3 GAN의 안정성 및 성능, 음성 및 표 형식 데이터와 같은 비전이 아닌 작업에 대한 영향은 무엇인가요?
• RQ4 다양한 설계 선택(입력 대 잠재 표현 보간, 클래시 간 보간 대 클래스 내 보간, 레이블 처리)이 결과에 어떤 영향을 미치나요?

주요 결과

• Mixup은 여러 아키텍처에서 ImageNet 및 CIFAR 벤치마크에서 ERM보다 일반화가 좋습니다.
• Mixup은 손상된 레이블의 메모라이제이션을 감소시키고 white-box 및 black-box 설정에서 적대적 예에 대한 탄력성을 향상시킵니다.
• Mixup은 비전 분류를 넘어 음성 및 표 형식 데이터셋에서도 강건성을 제공하여 광범위한 적용 가능성을 보여줍니다.
• 얼개 연구는 mixup이 대체 보간 스킴보다 일관되게 우수하다고 나타내며, 입력의 선형 보간과 레이블의 볼록 보간이 얻은 이득에 강력한 기여를 합니다.
• Mixup은 판별기에 대한 그래디언트 규제 역할을 하여 GAN 학습의 안정화를 도와 훈련 안정성을 개선할 수 있습니다.