[논문 리뷰] Simple is Better! Lightweight Data Augmentation for Low Resource Slot Filling and Intent Classification

Samuel Louvan, Bernardo Magnini|arXiv (Cornell University)|2020. 09. 08.

Topic Modeling참고 문헌 29인용 수 11

한 줄 요약

이 논문은 저자원 슬롯 채우기 및 의도 분류를 위한 경량 데이터 증강 기법을 제안한다. 이 기법은 의존성 구문 분석에 기반한 간단한 스팸 수준 치환과 문장 수준의 구조적 연산(자르기/회전)을 사용한다. 단순한 방법임에도 불구하고 ATIS 및 SNIPS에서 성능을 크게 향상시키며, 복잡한 딥러닝 기반 증강 방법을 능가하고 저데이터 환경에서 BERT 기반 모델의 성능을 향상시킨다.

ABSTRACT

Neural-based models have achieved outstanding performance on slot filling and intent classification, when fairly large in-domain training data are available. However, as new domains are frequently added, creating sizeable data is expensive. We show that lightweight augmentation, a set of augmentation methods involving word span and sentence level operations, alleviates data scarcity problems. Our experiments on limited data settings show that lightweight augmentation yields significant performance improvement on slot filling on the ATIS and SNIPS datasets, and achieves competitive performance with respect to more complex, state-of-the-art, augmentation approaches. Furthermore, lightweight augmentation is also beneficial when combined with pre-trained LM-based models, as it improves BERT-based joint intent and slot filling models.

연구 동기 및 목표

• 라벨이 부족한 훈련 데이터에서 슬롯 채우기 및 의도 분류 성능이 떨어지는 문제를 해결하기 위해.
• 별도의 생성 모델을 훈련하지 않는 저복잡도 데이터 증강 방법을 개발하기 위해.
• 표준 biLSTM 모델과 BERT와 같은 대규모 사전 훈련된 언어 모델에 대한 경량 증강의 효과를 평가하기 위해.
• 간단한 증강 기법이 저자원 환경에서 성능 향상에 효과적으로 기여할 수 있는지 조사하기 위해.
• 경량 증강과 사전 훈련된 모델을 통한 전이 학습 간의 상호보완적 관계를 탐색하기 위해.

제안 방법

• 의미적으로 동일한 스팸이 동일한 슬롯 레이블을 가진 다른 문장들 사이에서 교환되는 슬롯 치환(Slot-Sub)을 제안한다. 이를 통해 다양한 훈련 예제를 생성한다.
• 의존성 구문 트리에 기반한 문장 수준의 증강을 위해 자르기 및 회전 연산을 적용하여 문장의 구조를 변경하지만 의미는 유지한다.
• BIO 태깅을 사용해 슬롯 스팸을 식별하고, 치환 시 훈련 데이터 전반에서 일관된 슬롯 레이블을 유지한다.
• 각 원본 문장에 대해 증강 연산을 N번 적용하여 합성 훈련 샘플을 생성함으로써 데이터 다양성을 높인다.
• BERT, RoBERTa, ALBERT와 같은 사전 훈련된 언어 모델의 미세조정과 증강을 결합하여 전이 학습의 이점을 평가한다.
• 의존성 구문 분석을 활용해 문장 수준의 연산을 지시함으로써 생성된 변형에서 문법적 및 의미적 일관성을 확보한다.

실험 결과

연구 질문

• RQ1 경량이며 비생성적인 데이터 증강 기법이 저자원 슬롯 채우기 및 의도 분류 성능 향상에 기여할 수 있는가?
• RQ2 슬롯 치환은 더 복잡한 딥러닝 기반 증강 방법에 비해 효과성과 효율성 측면에서 어떻게 비교되는가?
• RQ3 대규모 사전 훈련된 언어 모델이 저데이터 환경에서 경량 증강 기법으로부터 얼마나 많은 이점을 얻을 수 있는가?
• RQ4 경량 증강과 전이 학습을 결합하면 개별적으로 적용했을 때보다 더 나은 성능을 내는가?
• RQ5 간단한 텍스트 스팸 및 문장 구조 조작이 의미를 유지하면서도 훈련 데이터의 다양성을 증가시킬 수 있는가?

주요 결과

• 경량 증강은 ATIS 및 SNIPS에서 슬롯 채우기 성능을 크게 향상시키며, 베이스라인 모델 대비 ATIS에서 최대 3.0% F1 향상, SNIPS에서 3.0% 향상된 성과를 기록한다.
• Slot-Sub(슬롯 치환)가 가장 효과적인 증강 기법으로, 문장 수준의 연산 및 복잡한 생성 기반 방법을 모두 능가한다.
• 경량 증강을 적용한 BERT 기반 모델은 ATIS에서 92.8% F1, SNIPS에서 92.8% F1을 기록하며, 각각 베이스라인 대비 1.2% 및 3.0% 향상된 성능을 보였다.
• RoBERTa-large 및 ALBERT-xxlarge와 같은 대규모 사전 훈련된 모델 역시 증강 기법으로부터 이점을 얻어, ATIS에서 각각 93.2% 및 92.9% F1을 달성했다.
• Slot-Sub와 사전 훈련된 모델의 미세조정을 조합하면 모든 설정에서 가장 뛰어난 종합 성능을 기록하며, 데이터 증강과 전이 학습 간의 상호보완적 관계를 입증한다.
• 매우 저자원 환경에서도 경량 증강은 일관된 성능 향상을 유지하며, 추가로 생성 모델을 훈련할 필요 없이 효과적임을 입증한다.