[논문 리뷰] Enriched Pre-trained Transformers for Joint Slot Filling and Intent Detection

Momchil Hardalov, Ivan Koychev외 1명|arXiv (Cornell University)|2020. 04. 30.

Topic Modeling인용 수 11

한 줄 요약

이 논문은 BERT와 RoBERTa를 개선하기 위해 의도 풀링 어텐션 메커니즘, 단어 특징(대소문자, NER), 그리고 의도 유도 슬롯 표현을 통합한 통합 의도 검출 및 슬롯 채우기 모델인 Transformer-NLU를 제안한다. 이 모델은 SNIPS에서 슬롯 F1과 의도 정확도 모두 55% 이상의 오차 감소를 달성하며 최신 기술 수준을 확보한다. ATIS에서는 5%의 오차 감소를 기록한다.

ABSTRACT

Detecting the user's intent and finding the corresponding slots among the utterance's words are important tasks in natural language understanding. Their interconnected nature makes their joint modeling a standard part of training such models. Moreover, data scarceness and specialized vocabularies pose additional challenges. Recently, the advances in pre-trained language models, namely contextualized models such as ELMo and BERT have revolutionized the field by tapping the potential of training very large models with just a few steps of fine-tuning on a task-specific dataset. Here, we leverage such models, namely BERT and RoBERTa, and we design a novel architecture on top of them. Moreover, we propose an intent pooling attention mechanism, and we reinforce the slot filling task by fusing intent distributions, word features, and token representations. The experimental results on standard datasets show that our model outperforms both the current non-BERT state of the art as well as some stronger BERT-based baselines.

연구 동기 및 목표

• 제한된 레이블 데이터와 전문화된 어휘를 가진 저자원 NLU 작업에 도전하기 위해.
• 표준 미세조정을 넘어서 사전 훈련된 언어 모델을 활용하여 통합 의도 분류 및 슬롯 채우기 성능을 향상시키기 위해.
• 명시적 특징(대소문자, NER)과 예측된 의도 분포를 활용하여 슬롯 채우기 성능을 향상시키기 위해.
• 사전 훈련된 모델이 NLU 작업에서 암묵적으로 포착한 지식을 탐구하기 위해.
• [CLS] 토큰보다 더 효과적인 풀링 메커니즘을 설계하여 의도 표현을 향상시키기 위해.

제안 방법

• [CLS] 토큰에 의존하는 것 대신, 마지막 BERT/RoBERTa 레이어의 모든 토큰 표현에 대해 가중치 합을 계산하는 의도 풀링 어텐션 레이어를 도입한다.
• 각 토큰에 대해 진짜 대소문자와 명명된 실체 인식(NER) 예측 결과를 포함한 단어 수준의 특징을 추출한다.
• 예측된 의도 분포, BERT/RoBERTa의 마지막 은닉 상태, 그리고 단어 특징을 통합된 슬롯 채우기 레이어에 융합한다.
• 라벨 간 의존성을 모델링하기 위해 슬롯 예측 헤드 위에 CRF 레이어를 사용한다.
• ATIS 및 SNIPS 데이터셋에서 종합 손실을 사용해 의도와 슬롯 태깅을 위한 엔드 투 엔드 훈련을 수행한다.
• 각 구성 요소의 기여도를 분리하기 위해 추론 실험(ablation studies)를 통해 모델을 평가한다.

(a) BERT-Joint.

실험 결과

연구 질문

• RQ1 [CLS] 토큰보다 더 효과적인 의도 표현 방식이 통합 의도 및 슬롯 채우기 성능을 향상시킬 수 있는가?
• RQ2 단어별 특징(대소문자, NER)을 통합할 경우 슬롯 채우기 정확도가 얼마나 향상되는가?
• RQ3 예측된 의도 분포를 가이드로 사용할 경우 슬롯 태깅 성능 향상 정도는 어느 정도인가?
• RQ4 개선된 모델이 표준 NLU 벤치마크에서 비-BERT 기반 모델과 강력한 BERT 기반 베이스라인을 모두 능가하는가?
• RQ5 BERT와 RoBERTa와 같은 사전 훈련된 모델에 내장된 임계적인 작업 관련 지식은 어떤 형태로 저장되어 있는가?

주요 결과

• Transformer-NLU는 ATIS에서 97.87%의 의도 정확도, SNIPS에서는 98.86%의 의도 정확도를 기록하여 이전의 비-BERT 최신 기술 수준을 크게 뛰어넘었다.
• SNIPS 데이터셋에서 이전 최신 기술 수준 대비 슬롯 F1에서 55% 이상의 오차 감소를 기록했으며, F1 점수는 96.57%에 도달했다.
• ATIS에서는 슬롯 F1에서 상대 오차 감소율이 13.66%에 달했으며, F1 점수는 96.25%에 도달했다.
• RoBERTa와 CRF 레이어의 사용이 성능 향상에 기여하지 않았다는 점은 제안된 개선 사항이 아키텍처 변경보다 더 큰 영향을 미친다는 것을 시사한다.
• 의도 풀링 메커니즘과 특징 융합이 성능 향상에 크게 기여했으며, 특히 저자원 설정에서 두드러진 성과를 보였다.
• 사전 훈련된 모델가 의도 및 슬롯 검출에 관련된 상당한 암묵적 지식를 내장하고 있으며, 아키텍처적 개선을 통해 이를 효과적으로 활용할 수 있음을 입증했다.

(b) Transformer-NLU (ours).