[논문 리뷰] Multi-lingual Intent Detection and Slot Filling in a Joint BERT-based Model

Giuseppe Castellucci, Valentina Bellomaria외 2명|arXiv (Cornell University)|2019. 07. 05.

Topic Modeling참고 문헌 28인용 수 55

한 줄 요약

논문은 Bert-Joint를 제시합니다. 이는 BERT를 기반으로 한 다국어 공동 모델로, 동시에 의도 감지와 슬롯 채움을 수행하며 ATIS와 SNIPS에서 최첨단 성능을 달성하고 새로운 SLU 데이터셋을 통해 이탈리아어로 확장됩니다.

ABSTRACT

Intent Detection and Slot Filling are two pillar tasks in Spoken Natural Language Understanding. Common approaches adopt joint Deep Learning architectures in attention-based recurrent frameworks. In this work, we aim at exploiting the success of "recurrence-less" models for these tasks. We introduce Bert-Joint, i.e., a multi-lingual joint text classification and sequence labeling framework. The experimental evaluation over two well-known English benchmarks demonstrates the strong performances that can be obtained with this model, even when few annotated data is available. Moreover, we annotated a new dataset for the Italian language, and we observed similar performances without the need for changing the model.

연구 동기 및 목표

• 공동 언어 이해 과제의 동기를 제시합니다: SLU에서 의도 탐지와 슬롯 채움을 위한 효율성과 정확성을 개선합니다.
• 문장 수준 의도와 토큰 수준 슬롯을 모델링하기 위한 recurrence-free, BERT 기반의 공동 프레임워크를 제안합니다.
• combined loss를 이용한 공동 학습이 데이터가 제한적일 때 및 다국어에서 성능을 개선한다는 것을 보여줍니다.

제안 방법

• 공유 표현 위에 문장 수준 의도 분류기와 토큰 수준 슬롯 레이블러를 추가로 확장된 BERT에 적용합니다.
• 의도에 대해 [CLS]의 최종 숨겨진 상태를, 슬롯 예측에 대해 각 토큰의 최종 숨겨진 상태를 사용합니다.
• 훈련은 결합 손실 L = alpha * L_c + beta * L_o로 함께 수행되며, 모든 BERT 매개변수와 분류기 매개변수를 업데이트합니다.
• 표준 SLU 데이터셋을 평가에 사용하여 5–50 에폭 동안 드롭아웃, Adam 옵티마이저 및 작은 학습률 스케줄로 파인튜닝합니다.

실험 결과

연구 질문

• RQ1 단일 BERT 기반 모델이 unified 손실 함수로 의도 탐지와 슬롯 채움을 공동으로 최적화할 수 있는가?
• RQ2 공동 모델링이 표준 영어 SLU 벤치마크에서 INTENT-전용 및 SLOT-전용 BERT 벤치마크를 능가하는가?
• RQ3 저데이터 상황 및 이탈리아어를 포함한 다국어 데이터에서 공동 접근 방식이 효과적인가?
• RQ4 다국어 학습 설정이 영어와 이탈리아어 SLU 데이터셋의 성능에 어떤 영향을 미치는가?

주요 결과

• Bert-Joint는 ATIS 및 SNIPS에서 문장 정확도와 슬롯의 F1에서 최첨단 결과를 달성하며, 분리된 Bert-Intent와 Bert-Slot 벤치마크를 능가합니다.
• 공동 학습은 ID와 SF 모두에 눈에 띄는 이점을 제공하며, 문장 수준 정확도(의도+슬롯)에서 상당한 개선을 보입니다.
• 저데이터 상황에서 Bert-Joint는 비공동 벤치마크에 비해 상대적 이득이 더 크며, 특히 의도 탐지에서 큰 개선을 보입니다.
• 이탈리아어 SLU 데이터세트(SLU-IT)에서 Bert-Joint는 강한 성능을 유지하며 비공동 벤치마크보다 우수한 성능을 보입니다.
• 다국어 학습(EN+IT)은 이탈리아어에 대한 개선을 제공하고 영어에서는 큰 감소 없이 문장 수준 정확도를 증가시킵니다.