[논문 리뷰] BERT for Joint Intent Classification and Slot Filling

Chen Qian, Zhuo Zhu외 1명|arXiv (Cornell University)|2019. 02. 28.

Topic Modeling참고 문헌 20인용 수 412

한 줄 요약

이 논문은 BERT를 사용하여 의도 분류와 슬롯 채우기 작업을 동시에 수행하는 모델을 제안하며, 문맥적 표현을 활용해 자원이 제한된 NLU 작업에서 일반화 능력을 향상시킨다. 이 모델은 Snips와 ATIS 데이터셋에서 최신 기준 성능을 달성하였으며, 의도 정확도(최대 +1.6%p), 슬롯 F1(최대 +1.9%p), 문장 수준 프레임 정확도(최대 22.9% 상대적 향상)에서 뚜렷한 성과를 보였다.

ABSTRACT

Intent classification and slot filling are two essential tasks for natural language understanding. They often suffer from small-scale human-labeled training data, resulting in poor generalization capability, especially for rare words. Recently a new language representation model, BERT (Bidirectional Encoder Representations from Transformers), facilitates pre-training deep bidirectional representations on large-scale unlabeled corpora, and has created state-of-the-art models for a wide variety of natural language processing tasks after simple fine-tuning. However, there has not been much effort on exploring BERT for natural language understanding. In this work, we propose a joint intent classification and slot filling model based on BERT. Experimental results demonstrate that our proposed model achieves significant improvement on intent classification accuracy, slot filling F1, and sentence-level semantic frame accuracy on several public benchmark datasets, compared to the attention-based recurrent neural network models and slot-gated models.

연구 동기 및 목표

• 제한된 인간 레이블링된 훈련 데이터로 인해 NLU 모델의 일반화 능력이 떨어지는 문제를 해결하기 위해.
• BERT 사전 훈련의 효과성이 동시 의도 분류 및 슬롯 채우기 작업에 어떻게 기여하는지 탐색하기 위해.
• 문맥적 표현 학습을 통해 자원이 적거나 희귀어가 많은 상황에서 성능을 향상시키기 위해.
• 의도와 슬롯 작업을 동시에 모델링할 경우 전체 의미 구문 분석 정확도가 향상됨을 입증하기 위해.
• Snips와 ATIS와 같은 다양한 실제 응용 기반 벤치마크에서 모델의 강건성을 검증하기 위해.

제안 방법

• End-to-end 훈련을 통해 BERT-Base 모델을 의도 및 슬롯 레이블링 작업에 미세조정한다.
• 의도 분류를 위해 [CLS] 토큰 표현을 사용하며, softmax 레이어를 통해 처리한다: yi = softmax(Wi h1 + bi).
• 슬롯 레이블링을 위해 첫 번째 서문자 토큰의 은닉 상태를 사용한다: ys_n = softmax(Ws hn + bs), 여기서 hn은 단어 xn의 첫 번째 서문자에 해당한다.
• 합성 목표 함수를 다음과 같이 정의한다: p(yi, ys|x) = p(yi|x) × ∏ p(ys_n|x), 교차 엔트로피 손실을 최대화하여 조건부 가능도를 극대화한다.
• 슬롯 채우기에서 레이블 간 의존성을 모델링하기 위해 BERT 위에 CRF 레이어를 통합하여 시퀀스 수준의 일관성을 향상시킨다.
• BooksCorpus와 Wikipedia에서 표준 BERT 사전 훈련을 수행한 후, Adam과 드롭아웃을 사용하여 작업별 미세조정을 수행한다.

실험 결과

연구 질문

• RQ1 BERT 사전 훈련이 레이블링된 데이터가 제한된 상황에서 의도 분류 및 슬롯 채우기 작업의 일반화 능력을 뚜렷이 향상시킬 수 있는가?
• RQ2 의도와 슬롯 작업을 동시에 모델링할 경우 독립적인 모델링보다 성능이 향상되는가?
• RQ3 기존의 최신 기준 RNN 및 어텐션 기반 모델 대비 BERT 기반 동시 모델링이 벤치마크 데이터셋에서 어떻게 성능을 냈는가?
• RQ4 Wikipedia와 같은 도메인이 다른 텍스트에서 사전 훈련한 BERT가 희귀어어구에 대해 zero-shot 또는 few-shot 일반화에 얼마나 기여하는가?
• RQ5 레이블 간 의존성을 포착함으로써 CRF 레이어 추가가 슬롯 레이블링 성능 향상에 기여하는가?

주요 결과

• Snips 데이터셋에서 동시 BERT 모델은 의도 분류 정확도 98.6%를 기록하였으며, 이는 이전 최신 기준(97.0%) 대비 1.6%p의 절대적 향상이다.
• 슬롯 채우기 성능은 F1 97.0%를 달성하였으며, 슬롯 게이팅 모델(88.8%) 대비 8.2%p의 절대적 향상이다.
• Snips에서 문장 수준 의미 프레임 정확도는 92.8%로 상승하였으며, 이는 이전 최고 성능 모델(75.5%) 대비 22.9%의 상대적 향상이다.
• ATIS에서 모델은 의도 정확도 97.5%(이전 94.1%)와 슬롯 F1 96.1%(이전 95.2%)를 기록하였으며, 프레임 정확도는 88.2%(이전 82.6%)였다.
• 단 한 번의 에포크만 미세조정한 동시 BERT 모델이 모든 이전 모델을 능가하며, 높은 데이터 효율성을 보였다.
• 사례 연구 결과, BERT는 위키백과에서 사전 훈련한 덕분에 'mother joan of the angels'와 같은 희귀어구를 영화 제목으로 정확히 식별함으로써 뛰어난 일반화 능력을 입증하였다.