[논문 리뷰] MetaMixUp: Learning Adaptive Interpolation Policy of MixUp with Meta-Learning

Zhijun Mai, Guosheng Hu외 3명|arXiv (Cornell University)|2019. 08. 27.

Domain Adaptation and Few-Shot Learning참고 문헌 49인용 수 6

한 줄 요약

MetaMixUp는 메타학습 기반의 방법을 제안하여 MixUp의 가상 샘플에 의한 과소적합을 줄이고 일반화 성능을 햖스키기 위해 데이터에 적응하는 보간 정책을 동적으로 학습한다. 기존의 랜덤한 베타 분포를 따르는 보간 방식과는 달리, MetaMixUp는 온라인 메타최적화를 통해 보간 계수를 정교화함으로써 CIFAR-10과 SVHN에서 지도 및 준지도 학습 설정에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

MixUp is an effective data augmentation method to regularize deep neural networks via random linear interpolations between pairs of samples and their labels. It plays an important role in model regularization, semi-supervised learning and domain adaption. However, despite its empirical success, its deficiency of randomly mixing samples has poorly been studied. Since deep networks are capable of memorizing the entire dataset, the corrupted samples generated by vanilla MixUp with a badly chosen interpolation policy will degrade the performance of networks. To overcome the underfitting by corrupted samples, inspired by Meta-learning (learning to learn), we propose a novel technique of learning to mixup in this work, namely, MetaMixUp. Unlike the vanilla MixUp that samples interpolation policy from a predefined distribution, this paper introduces a meta-learning based online optimization approach to dynamically learn the interpolation policy in a data-adaptive way. The validation set performance via meta-learning captures the underfitting issue, which provides more information to refine interpolation policy. Furthermore, we adapt our method for pseudo-label based semisupervised learning (SSL) along with a refined pseudo-labeling strategy. In our experiments, our method achieves better performance than vanilla MixUp and its variants under supervised learning configuration. In particular, extensive experiments show that our MetaMixUp adapted SSL greatly outperforms MixUp and many state-of-the-art methods on CIFAR-10 and SVHN benchmarks under SSL configuration.

연구 동기 및 목표

• 잘못 선택된 랜덤으로 샘플된 보간 정책으로 인해 발생하는 기존 MixUp의 과소적합 문제를 해결하기 위해.
• 만곡선 침범과 모호한 레이블 혼합을 피하는 데이터에 적응하는 보간 정책을 학습하여 모델의 일반화 성능을 향상시키기 위해.
• 검증 성능 피드백을 사용하여 메타학습 프레임워크를 개발하여 온라인으로 지속적인 적응을 가능하게 하는 것.
• 제한된 레이블이 있는 벤치마크에서 성능을 향상시키기 위해 보다 정교한 가짜 레이블 전략을 통합한 준지도 학습으로 방법을 확장하기 위해.
• 제안된 방법이 지도 및 준지도 학습 설정에서 여러 벤치마크에서 기존 MixUp 및 그 변종보다 우수한 성능을 내는지 입증하기 위해.

제안 방법

• MetaMixUp는 메타학습 프레리즘을 사용하여 검증 세트 성능을 신호로 사용하여 각 샘플 쌍의 보간 계수 λ를 최적화하는 메타모델을 학습한다.
• 이 방법은 이산적인 정책 후보 탐색을 피하기 위해 기울기 기반 온라인 메타최적화를 사용하여 보간 계수 λ를 미분 가능하고 연속적인 방식으로 지속적으로 정교화한다.
• 메타모델은 검증 세트에서의 기대 손실을 최소화하도록 훈련되며, 이는 과소적합 위험을 포괄하고 강건한 보간 정책 학습을 이끌어낸다.
• 주 모델은 훈련 중에 학습된 λ 값을 사용하는 반면, 메타모델은 주 모델의 검증 데이터 성능 피드백에 기반해 업데이트된다.
• 준지도 학습에서는 MetaMixUp가 신뢰도 기반 임계값을 적용한 가짜 레이블 전략과 통합되며, σd는 가짜 레이블 신뢰도의 감쇠를 제어한다.
• 이론적으로 MixUp 손실가 기울기 리프시츠 상수의 하한값임을 보여 이론적으로 보장함으로써 보간 정책의 품질과 모델의 강건성 간의 관계를 규명한다.

실험 결과

연구 질문

• RQ1 메타학습을 사용하여 데이터에 적응하는 MixUp 보간 정책을 효과적으로 학습시킬 수 있는가, 이는 랜덤 샘플링을 넘어서 일반화 성능 향상에 기여하는가?
• RQ2 학습 과정에서 학습된 보간 정책 분포는 어떻게 변화하는가, 그리고 클래스별 패턴으로 수렴하는가?
• RQ3 특히 분포 이탈이 높은 경우, MetaMixUp는 기존 MixUp에 비해 만곡선 침범과 과소적합을 완화하는가?
• RQ4 준지도 학습에서 신뢰도 감쇠율 σd와 같은 하이퍼파라미터 선택에 대해 MetaMixUp는 얼마나 강건한가?
• RQ5 MetaMixUp는 지도 및 준지도 학습 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• ResNet-50을 CIFAR-10에서 훈련할 때 MetaMixUp는 기존 MixUp에 비해 훈련 손실을 크게 감소시켜 수렴 성능 향상과 과소적합 감소를 나타낸다.
• MNIST에서 MetaMixUp는 λ = 0과 λ = 1의 상대 빈도가 증가하여 충돌이나 성능 저하의 위험이 있을 경우 혼합을 피하는 경향을 보인다.
• CIFAR-10에서 학습된 보간 정책 분포는 초기에는 랜덤에서 시작하여 점차 데이터 기반으로 변화하며, 학습 에포크가 진행되면서 클래스별 영역으로 수렴하는 경향을 보인다.
• 준지도 학습에서 MetaMixUp는 CIFAR-10에서 테스트 오차율 11.22%와 SVHN에서 5.34%를 기록하여 MixUp 및 최신 기술 수준의 방법을 초월한다.
• 하이퍼파라미터 σd에 대해 매우 강건하여 0.01에서 0.2 사이의 값에서 성능 변화가 미미하여 민감도가 낮음을 보여준다.
• 이론적 분석을 통해 MixUp 손실가 기울기 리프시츠 상수의 하한값임을 확인함으로써 보간 정책 품질의 중요성에 대한 공식적 근거를 제시한다.