[논문 리뷰] CST5: Data Augmentation for Code-Switched Semantic Parsing

Anmol Agarwal, Jigar Gupta외 4명|arXiv (Cornell University)|2022. 11. 14.

Natural Language Processing Techniques인용 수 5

한 줄 요약

CST5는 소량의 시드 세트(~100개의 영어-혼합어 발화 쌍)를 기반으로 다국어 T5(mT5) 모델을 미세조정하여 단일 언어 영어 의미 분석 데이터에서 고품질의 의미적으로 동일한 혼합어 발화를 생성하는 데이터 증강 기법을 제안한다. 이 방법은 최대 20배의 데이터 효율성 향상을 달성하며, 2,000개의 레이블된 예제로 훈련된 모델과 동일한 성능을 100개의 시드 예제로만 달성하고, Hinglish-TOP(10,000개의 인간 레이블링 데이터)와 17만 개의 합성 혼합어 발화를 공개한다.

ABSTRACT

Extending semantic parsers to code-switched input has been a challenging problem, primarily due to a lack of supervised training data. In this work, we introduce CST5, a new data augmentation technique that finetunes a T5 model using a small seed set ($\approx$100 utterances) to generate code-switched utterances from English utterances. We show that CST5 generates high quality code-switched data, both intrinsically (per human evaluation) and extrinsically by comparing baseline models which are trained without data augmentation to models which are trained with augmented data. Empirically we observe that using CST5, one can achieve the same semantic parsing performance by using up to 20x less labeled data. To aid further research in this area, we are also releasing (a) Hinglish-TOP, the largest human annotated code-switched semantic parsing dataset to date, containing 10k human annotated Hindi-English (Hinglish) code-switched utterances, and (b) Over 170K CST5 generated code-switched utterances from the TOPv2 dataset. Human evaluation shows that both the human annotated data as well as the CST5 generated data is of good quality.

연구 동기 및 목표

• Hindi-English와 같은 저자원 언어 쌍에서 의미 분석을 위한 레이블된 혼합어 훈련 데이터 부족 문제를 해결하기 위해.
• 소량의 병렬 영어-혼합어 발화 시드 세트를 활용하여 합성 혼합어 데이터를 생성하는 데이터 증강 방법을 개발하기 위해.
• 합성 데이터 생성을 통해 인간 레이블링 데이터를 크게 줄이고 의미 분석 성능를 향상시키기 위해.
• 향후 다국어 NLP 연구를 지원하기 위해 대규모 고품질의 혼합어 의미 분석 데이터셋을 공개하기 위해.

제안 방법

• 소량의 병렬(영어, 혼합어) 발화 쌍(~100개)의 시드 세트를 기반으로 다국어 T5(mT5) 모델을 미세조정하여 혼합어 패턴을 학습하기 위해.
• 미세조정된 mT5 모델을 사용하여 대규모 단일 언어 영어 의미 분석 데이터셋(e.g., TOPv2)에서 혼합어 발화를 생성하기 위해.
• 원본 영어 발화의 의미 분석을 생성된 혼합어 발화와 정렬하여 레이블 감독을 유지하기 위해.
• 필터링 및 인간 평가를 적용하여 생성된 데이터의 의미 동일성과 자연스러움을 확보하기 위해.
• 실제 데이터와 합성 데이터를 모두 활용하여 의미 분석 모델을 훈련하고 평가하여 성능 향상을 측정하기 위해.
• 병렬 데이터가 없을 경우 기계 번역을 활용해 시드 데이터를 확보하여 다른 언어 쌍(e.g., 스페인어-영어)에도 동일한 방법을 적용하기 위해.

실험 결과

연구 질문

• RQ1 100개의 병렬 영어-혼합어 시드 세트로도 혼합어 의미 분석을 위한 효과적인 데이터 증강이 가능할 수 있는가?
• RQ2 CST5가 생성한 합성 혼합어 데이터의 품질은 인간 레이블링 데이터와 비교해 의미 동일성과 자연스러움 측면에서 어떻게 평가되는가?
• RQ3 CST5를 활용한 데이터 증강은 유사한 의미 분석 성능를 달성하기 위해 필요한 레이블된 데이터를 얼마나 줄일 수 있는가?
• RQ4 CST5로 생성된 데이터의 성능 향상 효과는 특히 저자원 또는 복잡한 도메인(예: 알림)과 같은 다양한 의미 분석 도메인에서 유지되는가?
• RQ5 Hindi-English를 초월해 스페인어-영어와 같이 병렬 데이터가 적은 다른 언어 쌍에도 CST5가 일반화 가능한가?

주요 결과

• 단지 100개의 시드 예제만으로도 CST5가 생성한 데이터를 활용한 모델이 2,000개의 인간 레이블링 예제로 훈련된 모델과 동일한 성능를 달성하여 데이터 요구량을 20배 감소시켰다.
• CST5로 미세조정된 XXL mT5 모델은 데이터 증강 없이 훈련된 기준 모델 대비 정확도(EM)에서 25%p의 절대적 향상을 보였다.
• 인간 평가 결과, 생성된 혼합어 발화 중 89%가 원본 영어 발화와 의미적으로 동일했고, 98%는 자연스럽다고 평가되었다.
• CST5로 생성된 데이터로 훈련된 모델는 기준 모델보다 더 빨리 수렴했으며, 이는 높은 데이터 효율성과 낮은 샘플 복잡도를 의미한다.
• CSTOP 스페인어-영어 데이터셋에서 CST5는 단지 100개의 합성 예제로만으로도 EM 정확도를 69.2%에서 77.8%로 향상시켜, Hindi-English를 초월한 일반화 능력을 입증했다.
• 데이터 부족이 가장 영향을 미치는 복잡한 도메인인 알림(16개의 의도, 평균 2.66개의 의도/발화)에서는 더 큰 성능 향상 효과를 보였다.