[논문 리뷰] Data Augmentation for Spoken Language Understanding via Pretrained Models

Baolin Peng, Chenguang Zhu외 2명|arXiv (Cornell University)|2020. 04. 29.

Topic Modeling참고 문헌 23인용 수 21

한 줄 요약

이 논문은 데이터 부족 문제를 해결하기 위해 사전 훈련된 언어 모델을 활용한 음성 언어 이해(SLU)를 위한 데이터 증강 프레임워크를 제안한다. 특히 두 가지 미처 다뤄지지 않은 상황인 온톨로지 기반 및 발화 기반 설정에서 주로 다룬다. 이 방법은 다양한 고품질의 합성 훈련 발화를 생성하여 여러 벤치마크에서 SLU 모델 성능을 크게 향상시킨다.

ABSTRACT

The training of spoken language understanding (SLU) models often faces the problem of data scarcity. In this paper, we put forward a data augmentation method with pretrained language models to boost the variability and accuracy of generated utterances. Furthermore, we investigate and propose solutions to two previously overlooked scenarios of data scarcity in SLU: i) Rich-in-Ontology: ontology information with numerous valid dialogue acts are given; ii) Rich-in-Utterance: a large number of unlabelled utterances are available. Empirical results show that our method can produce synthetic training data that boosts the performance of language understanding models in various scenarios.

연구 동기 및 목표

• 저자원 환경에서 음성 언어 이해(SLU)의 데이터 부족 문제를 해결하기 위해 합성 훈련 데이터를 생성하는 것.
• 다음 두 가지 간과된 데이터 부족 상황을 조사하고 해결하는 것: 온톨로지 기반 및 발화 기반.
• 사전 훈련된 언어 모델을 활용해 생성된 발화의 다양성과 정확도를 향상시키는 것.
• 저자원 환경에서 효과적인 데이터 증강을 통해 SLU 모델 성능을 향상시키는 것.

제안 방법

• 대화 행동과 온톨로지 정보를 조건으로 삼아 사전 훈련된 언어 모델을 활용해 합성 발화를 생성하는 것.
• 기존 온톨로지와 의미적·구조적 일致성을 유지하는 조건부 생성 전략을 설계하는 것.
• 온톨로지 기반 설정에서 불균형한 데이터를 보완하기 위해 미라벨링된 발화를 활용해 흐름을 조정하거나 프롬프트 엔지니어링을 적용하는 것.
• 백트랜스레이션 또는 다원화 기법을 적용해 발화의 다양성을 높이면서도 의도와 슬롯 정확도를 유지하는 것.
• 생성된 데이터를 훈련 파이프라인에 통합하여 SLU 모델을 미세조정하는 것.
• 자동 평가 및 인위적 평가 지표를 통해 합성 데이터의 품질을 평가하는 것.

실험 결과

연구 질문

• RQ1 사전 훈련된 언어 모델은 저자원 환경에서 다양한 고정확도의 발화를 효과적으로 생성할 수 있는가?
• RQ2 온톨로지가 풍부한 상황에서 데이터 증강 기법은 어떻게 작동하는가? (단, 발화 데이터가 부족한 경우)
• RQ3 풍부한 미라벨링된 발화 데이터는 존재하지만 레이블이 없는 상황(발화 기반)에서는 어떻게 작동하는가?
• RQ4 합성 데이터는 다양한 데이터 부족 상황에서 다운스트림 SLU 모델 성능에 어떤 영향을 미치는가?
• RQ5 의도 및 슬롯 예측 정확도 측면에서 생성된 발화의 품질은 실제 데이터와 비교해 어떻게 되는가?

주요 결과

• 제안된 방법은 높은 품질의 합성 발화를 생성함으로써 모델 일반화 능력을 향상시켜 SLU 모델 성능을 크게 향상시킨다.
• 온톨로지 기반 설정에서는 기존의 베이스라인 데이터 증강 기법보다 더 높은 의도 및 슬롯 정확도를 달성한다.
• 발화 기반 설정에서는 미라벨링된 데이터를 효과적으로 활용해 다양한 의미적으로 타당한 발화를 생성한다.
• 실증 결과는 다양한 SLU 벤치마크에서 일관된 성능 향상을 보이며, 다양한 데이터 부족 조건에서의 강건성을 입증한다.
• 생성된 합성 데이터는 높은 의미적 충실도를 유지하며 추가 레이블링 없이도 데이터 부족 문제를 효과적으로 완화하는 데 기여한다.