[논문 리뷰] CoDA: Contrast-enhanced and Diversity-promoting Data Augmentation for Natural Language Understanding

Yanru Qu, Dinghan Shen외 4명|arXiv (Cornell University)|2020. 10. 16.

Topic Modeling참고 문헌 51인용 수 28

한 줄 요약

CoDA는 자연어 이해를 위한 새로운 데이터 증강 프레임워크로, 특히 역번역과 적대적 훈련을 포함한 다양한 레이블 유지를 보존하는 변환을 조합함으로써 모델의 일반화 능력을 향상시키며, 모든 훈련 샘플 간의 전역적 관계를 포착하기 위해 대비 정규화 손실을 도입한다. GLUE 벤치마크에서 CoDA는 RoBERTa-large를 평균 2.2% 향상시켜 강력한 기준 모델을 능가하며, 특히 자원이 부족한 환경에서 뛰어난 성능을 보인다.

ABSTRACT

Data augmentation has been demonstrated as an effective strategy for improving model generalization and data efficiency. However, due to the discrete nature of natural language, designing label-preserving transformations for text data tends to be more challenging. In this paper, we propose a novel data augmentation framework dubbed CoDA, which synthesizes diverse and informative augmented examples by integrating multiple transformations organically. Moreover, a contrastive regularization objective is introduced to capture the global relationship among all the data samples. A momentum encoder along with a memory bank is further leveraged to better estimate the contrastive loss. To verify the effectiveness of the proposed framework, we apply CoDA to Transformer-based models on a wide range of natural language understanding tasks. On the GLUE benchmark, CoDA gives rise to an average improvement of 2.2% while applied to the RoBERTa-large model. More importantly, it consistently exhibits stronger results relative to several competitive data augmentation and adversarial training base-lines (including the low-resource settings). Extensive experiments show that the proposed contrastive objective can be flexibly combined with various data augmentation approaches to further boost their performance, highlighting the wide applicability of the CoDA framework.

연구 동기 및 목표

• 효과적이고 레이블을 유지하는 텍스트 변환을 설계하여 모델의 일반화 능력을 향상시키는 데 도전하는 것.
• 다양한 데이터 증강 기법을 상호보완적으로 조합하여 더 다양한 정보를 지닌 훈련 예제를 생성하는 방법을 탐색하는 것.
• 모델이 원본 및 증강된 쌍 간의 국소적 일관성 이상으로, 모든 훈련 샘플 간의 전역적 관계를 활용하는 훈련 목표를 개발하는 것.
• 증강된 데이터를 통한 표현 학습을 향상시켜 자원이 제한된 환경에서 데이터 효율성을 높이는 것.
• 다양한 데이터 증강 전략과 결합할 수 있으며 성능 향상을 이끌 수 있는 유연하고 원칙적인 프레임워크를 제공하는 것.

제안 방법

• CoDA는 역번역과 적대적 훈련과 같은 다양한 레이블 유지 변환을 스택하여 다양하고 고품질의 증강 예제를 생성함으로써 통합한다.
• 전체 훈련 세트에 걸쳐 양성 쌍(원본 및 증강 샘플)은 유사한 표현을 생성하도록 유도하고, 음성 쌍은 대비하도록 하는 대비 학습 목표를 도입한다.
• 대비 학습 과정의 안정성 향상과 음성 샘플 추정 향상을 위해 모멘타리 에너지와 메모리 백업을 사용한다.
• 모델 예측이 레이블 유지 변환에 대해 불변하도록 일관성 정규화를 적용한다.
• 대비 목표는 핵심 CoDA 파이프라인 외부의 다양한 데이터 증강 방법과도 통합 가능하도록 모듈러하게 설계되어 있다.
• RoBERTa 기반 모델을 대상으로 GLUE 벤치마크에서 평가되었으며, 자원이 부족한 환경에서의 분석도 포함되어 있다.

실험 결과

연구 질문

• RQ1 다양한 레이블 유지 텍스트 변환을 효과적으로 조합하여 더 다양하고 정보가 풍부한 증강 예제를 생성할 수 있는가?
• RQ2 모든 훈련 샘플 간의 전역적 관계를 포착하는 대비 학습 목표가 데이터 증강의 효과를 향상시킬 수 있는가?
• RQ3 특히 자원이 부족한 조건에서 CoDA는 표준 미세조정 및 다른 데이터 증강 또는 적대적 훈련 기반 모델보다 어떻게 성능을 내는가?
• RQ4 대비 목표는 다양한 데이터 증강 기법에 얼마나 일반화될 수 있는가?
• RQ5 증강 샘플의 다양성이 레이블 데이터가 부족한 상황에서 모델의 일반화 능력에 크게 기여하는가?

주요 결과

• CoDA는 RoBERTa-large에 적용되었을 때 GLUE 벤치마크에서 평균 2.2% 향상되며, 표준 미세조정 대비 뛰어난 성능 향상을 보였다.
• 자원이 부족한 환경에서는 CoDA가 역번역과 적대적 훈련을 모두 능가하며, MNLI 및 QNLI와 같이 작은 데이터셋에서 더 큰 성과 향상을 보였다.
• 역번역과 적대적 훈련을 스택하여 조합함으로써 가장 다양하고 고품질의 증강 샘플을 생성할 수 있었으며, 이는 성능 향상에 크게 기여했다.
• 제안된 대비 목표는 평가된 모든 데이터 증강 방법에 대해 성능 향상을 이끌었으며, 넓은 적용 가능성과 효과성을 확인했다.
• 대비 손실은 국소적 쌍 외에도 모든 훈련 임베딩 간의 전역적 관계를 활용함으로써 모델의 일반화 능력을 향상시켰다.
• 모멘타리 에너지와 메모리 백업은 텍스트 데이터 증강 맥락에서 대비 학습의 안정성과 품질을 크게 향상시켰다.