[논문 리뷰] Augmenting Data with Mixup for Sentence Classification: An Empirical Study

Hongyu Guo, Yongyi Mao외 1명|arXiv (Cornell University)|2019. 05. 22.

Topic Modeling참고 문헌 10인용 수 146

한 줄 요약

이 논문은 Mixup 데이터 증강을 NLP에 적용하여 단어 임베딩 간 보간(wordMixup)과 문장 임베딩 간 보간(senMixup)을 수행하고 CNN과 LSTM의 정확도가 여러 문장 분류 작업에서 향상되었음을 보인다.

ABSTRACT

Mixup, a recent proposed data augmentation method through linearly interpolating inputs and modeling targets of random samples, has demonstrated its capability of significantly improving the predictive accuracy of the state-of-the-art networks for image classification. However, how this technique can be applied to and what is its effectiveness on natural language processing (NLP) tasks have not been investigated. In this paper, we propose two strategies for the adaption of Mixup on sentence classification: one performs interpolation on word embeddings and another on sentence embeddings. We conduct experiments to evaluate our methods using several benchmark datasets. Our studies show that such interpolation strategies serve as an effective, domain independent data augmentation approach for sentence classification, and can result in significant accuracy improvement for both CNN and LSTM models.

연구 동기 및 목표

• NLP의 데이터 수요를 해결하기 위한 라벨 불변 텍스트 변환에 의존하지 않는 데이터 증강 동기 부여.
• 문장에 대한 두 가지 Mixup 적응: 임베딩 공간에서의 단어 수준 보간 및 숨겨진 표현에서의 문장 수준 보간 제안.
• 표준 NLP 벤치마크에서 여러 CNN 및 LSTM 아키텍처에 대해 제안된 방법의 경험적 평가.
• Mixup이 문장 분류에 대한 도메인 독립적 정규화 기제로 작용하는지 평가하고 임베딩 튜닝 효과를 분석.

제안 방법

• Mixup을 입력과 타깃을 선형 보간하는 방식으로 적용: - 문장 내 각 토큰에 대해 단어 임베딩 간 보간을 수행하는 wordMixup. - CNN 또는 LSTM에 의해 생성된 최종 은닉층 문장 표현 간 보간하는 senMixup. mixing ratio lambda은 alpha, alpha 디스트리뷰션에서 뽑히고 기본값은 1. 레이블은 y-tilde = lambda y_i + (1 - lambda) y_j.
• 표준 CNN(Kim 2014) 또는 LSTM 분류기에 적용하며 예측은 최종 소프트맥스/ 로지스틱 회귀 분류기.
• 평가 시 네 가지 임베딩 설정 적용: RandomTune, RandomFix, PretrainTune, PretrainFix.
• Adam 옵티마이저로 학습; 각 실행 20000 스텝; 평균 정확도 10번 실행의 표준 편차와 함께 보고.
• 10 벤치마크 데이터셋 사용: TREC, MR, SST-1, SST-2, Subj; 기본 CNN/LSTM 및 wordMixup/senMixup 변형과 비교.

실험 결과

연구 질문

• RQ1 Mixup에서 영감 받은 보간이 자연어 문장 분류에 효과적으로 적용될 수 있는가?
• RQ2 word-level 및 sentence-level Mixup가 CNN과 LSTM 아키텍처 전반에서 정규화 이점을 제공하는가?
• RQ3 임베딩 초기화 및 튜너빌리티(무작위 대 사전 학습) 가 Mixup 효과에 어떤 영향을 미치는가?
• RQ4 SST-2 및 SST-1 등 여러 데이터셋에서 성능 향상이 일관적인가?
• RQ5 Mixup가 전통적 드롭아웃/ L2 처벌에 비해 학습 역학 및 정규화에 어떤 영향을 미치는가?

주요 결과

• WordMixup와 senMixup은 RandomTune 설정에서 다섯 데이터셋 모두에서 CNN 성능을 개선하며, 특히 SST-1 및 MR에서 상당한 이득(상대 3% 이상).
• SST-2에서 Mixup 이득은 제한적이거나 무시될 수 있으며, 임베딩을 학습가능하게 하면 효과가 다양하고 중립적이거나 음수일 수 있음.
• LSTM과 wordMixup/senMixup도 여러 데이터셋에서 개선을 보이며, 특히 TREC과 SST-1에서 큰 이득(각각 상대 4.6% 및 5.2%)가 관찰됨.
• 사전 학습 임베딩을 사용하고 튜닝할 때 Mixup 변형은 일반적으로 정확도를 유지하거나 향상시킴(예: SST-1, SST-2, MR).
• Mixup은 정규화 기제로 작용하며, Mixup 방법의 훈련 손실이 0 이상으로 유지되는 반면 기본 CNN에서 손실이 빠르게 감소하는 현상과 대조적임.
• 설정 전반에서 Mixup은 도메인 독립적이고 낮은 비용의 데이터 증강으로 문장 분류의 과적합을 완화하는 데 도움이 된다고 기술됨.