[논문 리뷰] LINGUIST: Language Model Instruction Tuning to Generate Annotated Utterances for Intent Classification and Slot Tagging

Andy Rosenbaum, Saleh Soltan외 3명|arXiv (Cornell University)|2022. 09. 20.

Topic Modeling인용 수 11

한 줄 요약

Linguist는 5B 파라미터의 시퀀스-투-시퀀스 언어 모델을 사용하여 고품질의 다국어 의도 분류 및 슬롯 태깅(IC+ST) 데이터를 생성하기 위한 새로운 지시 튜닝 방법을 제안한다. 탄성 있는 자연어 지시 프롬프트로 미세조정함으로써 정밀한 슬롯 제어를 갖춘 애너테이션된 발화를 생성하며, 10-shot 신규 의도 설정에서 IC 재현율은 +1.9 F1, ST F1는 +2.5 F1 향상되어 백트랜스레이션 및 예시 외삽 기반 기준선을 능가한다.

ABSTRACT

We present LINGUIST, a method for generating annotated data for Intent Classification and Slot Tagging (IC+ST), via fine-tuning AlexaTM 5B, a 5-billion-parameter multilingual sequence-to-sequence (seq2seq) model, on a flexible instruction prompt. In a 10-shot novel intent setting for the SNIPS dataset, LINGUIST surpasses state-of-the-art approaches (Back-Translation and Example Extrapolation) by a wide margin, showing absolute improvement for the target intents of +1.9 points on IC Recall and +2.5 points on ST F1 Score. In the zero-shot cross-lingual setting of the mATIS++ dataset, LINGUIST out-performs a strong baseline of Machine Translation with Slot Alignment by +4.14 points absolute on ST F1 Score across 6 languages, while matching performance on IC. Finally, we verify our results on an internal large-scale multilingual dataset for conversational agent IC+ST and show significant improvements over a baseline which uses Back-Translation, Paraphrasing and Slot Catalog Resampling. To our knowledge, we are the first to demonstrate instruction fine-tuning of a large-scale seq2seq model to control the outputs of multilingual intent- and slot-labeled data generation.

연구 동기 및 목표

• 대화형 에이전트에서 새로운 의도, 슬롯, 언어에 대한 레이블이 부족한 학습 데이터 문제를 해결하기 위해.
• 의도 분류 및 슬롯 태깅(IC+ST)를 위한 고품질의 다국어 및 슬롯 제어가 가능한 합성 학습 데이터를 생성하기 위해.
• 기존 예시 없이 의도 및 슬롯 레이블 이름만으로 제로샷 및 희소샷 데이터 생성을 가능하게 하기 위해.
• 제어된 슬롯 태깅이 포함된 정렬된 다국어 발화를 생성하여 IC+ST의 다국어 성능을 향상시키기 위해.
• 저자원 환경에서 구조화된 데이터 생성을 위한 대규모 시퀀스-투-시퀀스 모델에 지시 튜닝의 효과를 입증하기 위해.

제안 방법

• 의도, 슬롯 유형 및 값 등을 포함한 출력 형식을 명시하는 구조화된 지시 프롬프트로 5B 파라미터 다국어 시퀀스-투-시퀀스 모델(AlexaTM 5B)을 미세조정한다.
• 입력 언어, 의도, 값이 포함된 필수 슬롯, 예시 발화를 포함하는 자연어 지시 프롬프트를 설계하여 생성을 안내한다.
• 미세조정된 모델을 사용하여 기존 예시 없이 레이블 이름만으로 새로운 의도나 제로샷 슬롯 유형에 대한 새로운 애너테이션된 발화를 생성한다.
• 유저의 IC+ST 모델 학습 세트를 보강하기 위해 생성된 데이터를 적용하여 일반화 및 제로샷 성능 향상을 도모한다.
• 모델이 하나의 출력에서 발화와 해당 슬롯 태깅을 동시에 생성할 수 있도록 하여 정렬을 보장한다.
• SNIPS, mATIS++, 및 내부 다국어 데이터셋에서 제로샷 및 희소샷 설정을 사용하여 성능을 평가하여 강인성과 확장성 검증

실험 결과

연구 질문

• RQ1 지시 튜닝된 대규모 언어 모델은 슬롯 유형과 값에 대해 정밀한 제어를 갖춘 고품질의 다국어 IC+ST 데이터를 생성할 수 있는가?
• RQ2 희소샷 및 제로샷 설정에서 백트랜스레이션 및 예시 외삽 기반 강력한 기준선 대비 생성된 데이터의 성능은 어떻게 비교되는가?
• RQ3 기존 예시 없이 의도 및 슬롯 레이블 이름만으로도 모델은 새로운 의도에 일반화할 수 있는가?
• RQ4 특히 mATIS++에서의 여러 언어 간 다국어 환경에서 이 방법의 효과는 어떠한가?
• RQ5 생성된 합성 데이터는 실제 대규모 다국어 대화형 에이전트 데이터에서 하류 IC+ST 모델 성능을 상당히 향상시키는가?

주요 결과

• SNIPS에서 10-shot 신규 의도 설정에서 Linguist는 백트랜스레이션 및 예시 외삽 기준선 대비 IC 재현율 +1.9 포인트 향상되고, ST F1은 +2.5 포인트 향상된다.
• mATIS++ 다국어 벤치마크에서 Linguist는 슬롯 태깅 F1에서 6개 언어 전역으로 기존 강력한 기계 번역 기반 슬롯 정렬 기준선 대비 +4.14 포인트 향상되었으며, IC 성능는 유사하게 유지된다.
• 제로샷 의도 생성에서는 기존 예시 없이 SNIPS의 새로운 의도에서 80.0%의 IC 재현율과 56.9%의 ST F1을 달성하여 진정된 제로샷 능력을 입증한다.
• 내부 대규모 다국어 데이터셋에서 Linguist는 백트랜스레이션, 어휘 재구성, 슬롯 카탈로그 재샘플링을 사용하는 기준선을 상당히 능가한다.
• 이 방법은 대규모 시퀀스-투-시퀀스 모델을 지시 튜닝하여 의도 및 슬롯 레이블이 포함된 제어된 구조를 갖춘 다국어 데이터를 생성하는 데 있어 최초의 사례이다.
• 모델는 하나의 출력에서 발화와 정렬된 슬롯 태깅을 모두 생성하여 하류 학습을 위한 고품질이고 일관된 데이터를 보장한다.