[논문 리뷰] WeMix: How to Better Utilize Data Augmentation

Yi Xu, Asaf Noy외 4명|arXiv (Cornell University)|2020. 10. 03.

Privacy-Preserving Technologies in Data참고 문헌 66인용 수 13

한 줄 요약

WeMix는 기존 데이터와 증강된 데이터 간의 분포 편향을 보정하기 위해 두 가지 이론적으로 기반한 방법—AugDrop 및 MixLoss—를 활용하는 새로운 데이터 증강 프레임워크를 제안한다. 이는 추가적인 학습 비용 없이 일반화 성능을 향상시킨다. 실험적 평가 결과, 컴퓨터 비전 및 NLP 벤치마크 전반에서 일관된 성능 향상이 관찰되어, 편향 보정된 데이터 증강이 딥러닝에서 효과적임을 입증한다.

ABSTRACT

Data augmentation is a widely used training trick in deep learning to improve the network generalization ability. Despite many encouraging results, several recent studies did point out limitations of the conventional data augmentation scheme in certain scenarios, calling for a better theoretical understanding of data augmentation. In this work, we develop a comprehensive analysis that reveals pros and cons of data augmentation. The main limitation of data augmentation arises from the data bias, i.e. the augmented data distribution can be quite different from the original one. This data bias leads to a suboptimal performance of existing data augmentation methods. To this end, we develop two novel algorithms, termed "AugDrop" and "MixLoss", to correct the data bias in the data augmentation. Our theoretical analysis shows that both algorithms are guaranteed to improve the effect of data augmentation through the bias correction, which is further validated by our empirical studies. Finally, we propose a generic algorithm "WeMix" by combining AugDrop and MixLoss, whose effectiveness is observed from extensive empirical evaluations.

연구 동기 및 목표

• 기존의 데이터 증강 기법이 원본 데이터와 증강된 데이터 간의 분포 편향으로 인해 일반화 성능이 저하되는 문제를 해결하기 위해.
• 특히 비볼록적인 딥러닝 환경에서 데이터 증강이 모델 성능을 향상시키는 조건과 방식에 대한 이론적 이해를 제공하기 위해.
• 데이터 편향이 클 경우에도 증강된 데이터를 효과적으로 활용할 수 있는 새로운 알고리즘을 설계하여 강건한 성능 향상을 보장하기 위해.
• AugDrop와 MixLoss를 하나의 일반적이고 효율적인 알고리즘—WeMix—로 통합하여 다양한 작업에서 모델의 일반화 성능을 향상시키기 위해.

제안 방법

• AugDrop는 원본 데이터와 증강된 데이터 간의 분포 이탈을 고려하여 제약 조건이 있는 최적화 문제를 설정함으로써, 훈련 과정을 조정하여 데이터 편향을 보정한다.
• MixLoss는 손실 함수를 수정하여 예측을 진짜 레이블 분포와 일치시킴으로써, mixup와 같은 레이블 혼합 증강 기법으로 인해 발생하는 편향을 효과적으로 완화한다.
• 이 프레임워크는 AugDrop와 MixLoss를 하나의 훈련 파이프라인에 통합하여, 일반화 성능 향상을 동시에 달성하면서도 훈련 효율성을 유지한다.
• 이론적 분석을 통해 AugDrop와 MixLoss가 큰 분포 이탈 조건 하에서도 일반화 오차를 감소시켜 데이터 편향을 보정함으로써 성능 향상을 이룬다는 것을 입증한다.
• WeMix는 표준 딥러닝 훈련 루프와 호환되는 플러그인 솔루션으로 설계되어, 아키텍처 수정이나 추가 하이퍼파라미터가 필요 없다.
• 실험적 검증은 이미지 분류 및 NLP 분야의 표준 벤치마크를 사용하여, 다양한 데이터셋과 모델에서 일관된 성능 향상이 있음을 보여준다.

실험 결과

연구 질문

• RQ1 데이터 증강이 딥러닝에서 일반화 성능을 향상시키는 조건는 무엇이며, 특히 증강으로 인한 데이터 분포 이탈이 발생할 경우 어떻게 되는가?
• RQ2 원본 데이터와 증강된 데이터 간의 데이터 편향이 클 경우 기존의 데이터 증강 기법이 실패하거나 성능이 떨어지는 이유는 무엇인가?
• RQ3 큰 분포 이탈 조건 하에서도 데이터 편향을 보정하고 일반화 성능을 향상시킬 수 있는 이론적으로 타당한 알고리즘을 설계할 수 있는가?
• RQ4 여러 가지 편향 보정 메커니즘을 하나의 효율적이고 일반적인 훈련 알고리즘으로 통합하여 실용적인 구현이 가능한가?

주요 결과

• AugDrop와 MixLoss는 큰 편향 조건 하에서도 이론적으로 일반화 오차를 감소시켜 데이터 편향을 보정함으로써, 표준 데이터 증강 기법보다 향상된 성능을 보장한다.
• AugDrop와 MixLoss를 결합한 WeMix는 CIFAR-10, ImageNet, GLUE 등 다양한 컴퓨터 비전 및 NLP 벤치마크에서 일관된 성능 향상을 이룬다.
• WeMix는 추가적인 학습 비용 없이 표준 데이터 증강보다 더 높은 정확도를 달성하여 기존 모델에 즉시 적용 가능한 플러그인 방식의 개선 방법이다.
• 실험 결과 WeMix는 기존 방법이 성능이 저하되는 강력한 증강 설정에서도 베이스라인 방법을 능가하는 성능을 보였다.
• 이론적 분석을 통해 AugDrop와 MixLoss가 모두 유계 일반화 오차를 갖는 해로 수렴하며, 수렴 속도는 데이터 편향과 모델의 매끄러움에 따라 달라진다는 것이 확인되었다.