[논문 리뷰] DIET: Lightweight Language Understanding for Dialogue Systems

Tanja Bunk, Daksh Varshneya외 2명|arXiv (Cornell University)|2020. 04. 21.

Topic Modeling참고 문헌 33인용 수 113

한 줄 요약

DIET는 대화 시스템에서 의도 분류와 엔티티 인식을 공동으로 수행하는 다중 작업 Dual Intent and Entity Transformer 아키텍처를 도입하며, 사전 학습 임베딩 없이도 강력한 결과를 보이고 BERT 같은 대형 모델보다 빠른 학습 속도를 제공합니다.

ABSTRACT

Large-scale pre-trained language models have shown impressive results on language understanding benchmarks like GLUE and SuperGLUE, improving considerably over other pre-training methods like distributed representations (GloVe) and purely supervised approaches. We introduce the Dual Intent and Entity Transformer (DIET) architecture, and study the effectiveness of different pre-trained representations on intent and entity prediction, two common dialogue language understanding tasks. DIET advances the state of the art on a complex multi-domain NLU dataset and achieves similarly high performance on other simpler datasets. Surprisingly, we show that there is no clear benefit to using large pre-trained models for this task, and in fact DIET improves upon the current state of the art even in a purely supervised setup without any pre-trained embeddings. Our best performing model outperforms fine-tuning BERT and is about six times faster to train.

연구 동기 및 목표

• 현실 세계 소프트웨어 생태계에서 대화 시스템을 위한 빠르고 다중언어이며 학습 가능한 NLU의 필요성을 동기 부여합니다.
• 의도 분류와 엔티티 인식을 공동으로 처리하는 모듈형 다중 작업 아키텍처를 제안합니다.
• DIET에서 희소(원-핫, 문자 n-그램) 및 밀집(사전 학습된 임베딩) 특징의 영향력을 탐구합니다.
• 마스킹 재구성 목적어를 규제항으로 통합하는 이점들을 조사합니다.
• 다도메인 NLU 벤치마크에서 DIET을 평가하고 최첨단 기준과 비교합니다.

제안 방법

• DIET은 입력을 희소 특징(토큰 수준 원-핫, 길이 5까지의 문자 n-그램)으로 보강된 토큰 시퀀스와 사전 학습된 임베딩(ConveRT, BERT, GloVe)에서 얻은 밀집 특징으로 특징화합니다.
• 상대 위치 주의가 있는 두 층의 Transformer가 컨텍스트를 인코딩하고, 결합된 밀집+희소 특징에서 작동합니다.
• Transformer 출력 위에 CRF 계층이 이름 엔터티 인식을 수행합니다.
• 의도 분류는 시퀀스의 CLS 표현과 의도 레이블 간의 의미 공간에서의 점곱 손실을 사용하고, 랭킹을 위한 음수 샘플링을 수행합니다.
• Transformer 출력에 마스킹된 토큰 재구성 목적어를 추가하여 규제 및 일반 특징 학습을 수행합니다.
• 총 손실은 의도 손실, 엔터티(CRF) 손실, 마스킹 재구성 손실의 가중합으로 구성되어 유연한 ablation 실험이 가능하도록 구성됩니다.

실험 결과

연구 질문

• RQ1 DIET가 다도메인 설정에서 의도 분류와 엔티티 인식을 효과적으로 공동 모델링할 수 있는가?
• RQ2 희소 특징을 다양한 사전 학습 밀집 임베딩과 결합했을 때 NLU 성능에 어떤 영향이 있는가?
• RQ3 마스킹 재구성 목적이 DIET의 일반화 및 정확도를 향상시키는가?
• RQ4 DIET가 HERMIT 및 파인튜닝된 BERT와 같은 최첨단 방법과 표준 NLU 벤치마크에서 어떻게 비교되는가?
• RQ5 순수하게 감독 학습 DIET 모델이 대형 사전 학습 언어 모델을 활용하는 모델과 경쟁력이 있는가, 그리고 학습 속도는 어느 정도인가?

주요 결과

• 도전적인 NLU-Benchmark에서 희소 특징과 ConveRT 임베딩을 결합한 DIET은 의도 및 엔티티 F1 점수에서 강력한 성능을 보이며, 의도에서 HERMIT 기준선을 상회하고 엔티티 재현률은 더 높게 달성합니다.
• ConveRT를 사용한 희소 특징 모델(no mask loss)은 의도에서 최상위 성능, 엔티티에서도 경쟁력 있는 결과를 보이며 두 태스크의 F1에서 약 3포인트 정도 최첨단을 상회합니다.
• 절단(ablation) 실험에서 희소 특징만 사용하고 mask loss를 추가하면 의도와 엔티티 모두 약 1포인트 정도 향상됩니다; GloVe 임베딩과 희소 특징도 경쟁력이 있으며, 이 설정에서 BERT 임베딩은 태스크 특화 조정 없이 ConveRT나 GloVe에 비해 저조할 수 있습니다.
• ConveRT 임베딩이 고정된 상태에서 희소 특징을 사용하는 DIET은 엔티티 인식에서 파인튜닝된 BERT보다 우수한 성능을 보이고, 의도 정확도는 유사하며 학습 시간은 훨씬 짧아 NLU-Benchmark에서 10시간 대 60시간 수준입니다.
• ATIS 및 SNIPS에서 DIET는 희소 특징과 ConveRT 또는 GloVe를 사용하여 Jaw Joint BERT에 가까운 성능을 달성하며 임베딩의 추가 미세조정 없이도 경쟁력을 보입니다.