[논문 리뷰] Semi-Supervised Few-Shot Intent Classification and Slot Filling

Samyadeep Basu, Karine lp Kiun Chong외 8명|arXiv (Cornell University)|2021. 09. 17.

Topic Modeling참고 문헌 21인용 수 7

한 줄 요약

이 논문은 프로토타입 네트워크 메타학습 파이프라인에 대비 학습과 데이터 증강을 통합하여 의도 분류(IC) 및 슬롯 채우기(SF)를 위한 준지도 학습 소수 샘플 학습 프레임워크를 제안한다. 대비 손실과 데이터 증강—특히 새로운 슬롯 목록 기반 방법—을 조합함으로써 소수 샘플 IC 성능이 크게 향상되며, SNIPS 및 ATIS 벤치마크에서 최신 기술(SOTA)을 초월한다.

ABSTRACT

Intent classification (IC) and slot filling (SF) are two fundamental tasks in modern Natural Language Understanding (NLU) systems. Collecting and annotating large amounts of data to train deep learning models for such systems is not scalable. This problem can be addressed by learning from few examples using fast supervised meta-learning techniques such as prototypical networks. In this work, we systematically investigate how contrastive learning and unsupervised data augmentation methods can benefit these existing supervised meta-learning pipelines for jointly modelled IC/SF tasks. Through extensive experiments across standard IC/SF benchmarks (SNIPS and ATIS), we show that our proposed semi-supervised approaches outperform standard supervised meta-learning methods: contrastive losses in conjunction with prototypical networks consistently outperform the existing state-of-the-art for both IC and SF tasks, while data augmentation strategies primarily improve few-shot IC by a significant margin.

연구 동기 및 목표

• 제한된 레이블된 데이터로 인한 저자원 NLU 문제를 해결하기 위해 소수 샘플 의도 분류(IC) 및 슬롯 채우기(SF) 성능을 향상시키는 것.
• 비지도 대비 학습과 데이터 증강이 소수 샘플 IC/SF에서 메타학습을 정규화하고 향상시키는 방식을 조사하는 것.
• IC/SF 작업에 특화된 새로운 데이터 증강 전략(예: 슬롯 목록 값 생성)을 개발하고 평가하는 것.
• 메타학습 파이프라인의 다양한 단계(지원 vs. 쿼리, 메타학습 vs. 메타테스트)에서 증강과 대비 학습의 영향을 체계적으로 비교하는 것.
• 다양한 정규화 기법을 효과적으로 통합한 강력한 준지도 학습 벤치마크를 구축하는 것.

제안 방법

• 기존 연구에서 사용된 고정 백본 대신 메타학습 기간 동안 미세조정된 RoBERTa 인코더를 사용하는 프로토타입 네트워크 기반 메타학습 프레임워크를 채택한다.
• 메타학습 기간 동안 지원 세트와 쿼리 세트 양쪽에서 대비 손실을 최소화함으로써 대비 학습을 정규화 기법으로 도입하여 프로토타입의 일반화 성능을 향상시킨다.
• 슬롯 값에 사전 기반 대체어를 사용하여 대체 슬롯 값을 치환함으로써 합성 발화를 생성하는 새로운 데이터 증강 전략—슬롯 목록 값—을 제안한다.
• 백트랜슬레이션과 EDA(Easy Data Augmentation)와 같은 기존 NLP 증강 기법을 사용하여 변형된 학습 예제를 생성한다.
• IC 및 SF 헤드 양쪽에 대해 프로토타입 손실과 대비 손실을 조합한 공동 손실 함수를 사용하여 엔드 투 엔드 최적화를 가능하게 한다.
• 5개 시드에 걸쳐 무작위 의도 클래스 분할을 사용하는 동적 에피소드 샘플링을 적용하여 평가의 강건성 확보 및 수동 클래스 선택에 의한 편향 방지

실험 결과

연구 질문

• RQ1 소수 샘플 IC/SF 메타학습에서 대비 학습이 효과적인 정규화 기법이 될 수 있는가? 특히 미관측 클래스로의 일반화 성능 향상에 기여하는가?
• RQ2 특히 슬롯 목록 값, 백트랜슬레이션, EDA와 같은 다양한 데이터 증강 전략이 소수 샘플 IC 및 SF 성능에 어떤 영향을 미치는가?
• RQ3 데이터 증강의 시점과 위치(메타학습 vs. 메타테스트)가 모델 성능에 상당한 영향을 미치는가?
• RQ4 대비 학습과 데이터 증강을 조합하면 각각을 별도로 사용할 때보다 우수한 성능을 낼 수 있는가?
• RQ5 왜 일부 데이터 증강 기법은 IC에서 더 큰 성능 향상을 보이며 SF에서는 그렇지 않은가? 문법 정보는 이 격차를 완화하는 데 어떤 역할을 하는가?

주요 결과

• 메타학습 기간 동안 지원 및 쿼리 특징 양쪽에서 대비 학습을 적용함으로써 SNIPS(Kmax=20)에서 최대 2.5%p, ATIS(Kmax=20)에서 2.1%p까지 소수 샘플 IC 정확도가 향상되어 베이스라인 및 이전 SOTA를 초월한다.
• 대비 학습과 슬롯 목록 기반 데이터 증강을 조합하면 모든 설정에서 가장 높은 IC 정확도(92.1%, SNIPS, Kmax=20)와 SF F1 점수(74.8%)를 기록한다.
• EDA 증강은 메타학습 및 메타테스트 모두에 적용했을 때 SNIPS에서 IC 정확도에 최대 4%p의 절대적 향상을 가져오며, 특히 Kmax=20에서 뛰어난 성능을 보인다.
• 백트랜슬레이션은 SNIPS에서 Kmax=100일 때 IC 성능 향상을 보였지만 ATIS에서는 성능 향상이 제한적이므로 도메인 특화된 효과를 보인다.
• 데이터 증강은 SF F1 점수에 거의 영향을 주지 않으며, 이는 슬롯 수준의 변형이 저샷 슬롯 분류에 충분한 신호를 제공하지 못하기 때문으로 보인다.
• 모델에 문법 정보를 추가해도 SF 성능 향상은 미미한 편이며, 이는 에피소드 샘플링에서 슬롯 클래스당 샘플 수가 적기 때문일 것이다.