[논문 리뷰] Exploring the importance of context and embeddings in neural NER models for task-oriented dialogue systems

Pratik Jayarao, Chirag Jain외 1명|arXiv (Cornell University)|2018. 12. 06.

Topic Modeling참고 문헌 23인용 수 4

한 줄 요약

이 논문은 작업 지향 대화 시스템에서 최신 신경 NER 모델을 수정하여 맥락 통합과 사전 훈련된 임베딩의 중요성을 강조한다. 이전 발화를 통합하고 외부 단어/문자 수준 임베딩을 사용함으로써, 특히 대화 시스템에서 흔한 노이즈가 많고 짧은 발화 상황에서 다중 도메인 대화 데이터셋에서 뚜렷한 성능 향상을 달성한다.

ABSTRACT

Named Entity Recognition (NER), a classic sequence labelling task, is an essential component of natural language understanding (NLU) systems in task-oriented dialog systems for slot filling. For well over a decade, different methods from lookup using gazetteers and domain ontology, classifiers over handcrafted features to end-to-end systems involving neural network architectures have been evaluated mostly in language-independent non-conversational settings. In this paper, we evaluate a modified version of the recent state of the art neural architecture in a conversational setting where messages are often short and noisy. We perform an array of experiments with different combinations of including the previous utterance in the dialogue as a source of additional features and using word and character level embeddings trained on a larger external corpus. All methods are evaluated on a combined dataset formed from two public English task-oriented conversational datasets belonging to travel and restaurant domains respectively. For additional evaluation, we also repeat some of our experiments after adding automatically translated and transliterated (from translated) versions to the English only dataset.

연구 동기 및 목표

• 작업 지향 대화 시스템에서 명명된 실체 인식(NER)에 대한 대화 맥락과 사전 훈련된 임베딩의 영향을 조사하는 것.
• 발화가 짧고 노이즈가 많아 전통적인 비대화 설정과 다름없는 대화 환경에서 신경 NER 모델의 성능을 평가하는 것.
• 대규모 코퍼스에서 사전 훈련된 외부 단어 및 문자 수준 임베딩을 대화 맥락 특징과 조합하여 효과를 평가하는 것.
• 자동 번역 및 이국어 표기(트랜스리터)된 영어 데이터셋을 포함한 다국어 데이터로 테스트하여 모델의 강인성을 검증하는 것.
• 실제 대화 NLU 파이프라인에서 특징 기여도를 종합적으로 분석하는 아블레이션 스터디를 제공하는 것.

제안 방법

• 최근 최신 기술의 신경 NER 아키텍처를 대화 시스템에 적합하도록 수정하여 순차적 대화 맥락을 처리할 수 있도록 한다.
• 짧고 모호한 발화에서 실체 인식 성능을 향상시키기 위해 대화에서 이전 발화를 추가 맥락 특징으로 통합한다.
• 큰 외부 코퍼스에서 사전 훈련된 단어 및 문자 수준 임베딩을 활용하여 희귀어나 OOV(어휘 외 어휘) 단어의 표현 학습을 향상시킨다.
• 공개된 두 개의 영어 작업 지향 대화 데이터셋(여행 및 식당 도메인)의 병합된 데이터셋을 기반으로 모델을 훈련하고 평가한다.
• 맥락 및 임베딩 유형의 조합를 다양하게 변경하여 기여도를 분리하는 아블레이션 스터디를 수행한다.
• 영어 전용 데이터셋에 자동 번역 및 이국어 표기된 버전을 추가하여 테스트를 반복함으로써 다국어 일반화 능력을 평가한다.

실험 결과

연구 질문

• RQ1 이전 발화를 맥락으로 통합할 경우 짧고 노이즈가 많은 대화 발화에서 NER 성능에 어떤 영향을 미치는가?
• RQ2 사전 훈련된 단어 및 문자 수준 임베딩은 자원이 제한된 대화 환경에서 NER 정확도에 얼마나 기여하는가?
• RQ3 전반적인 모델 성능에서 대화 맥락과 사전 훈련된 임베딩의 상대적 기여도는 어떠한가?
• RQ4 자동 번역 및 이국어 표기된 발화를 포함한 다국어 데이터로 평가했을 때 모델 성능 향상의 강인성은 어떠한가?
• RQ5 도메인 특화 미세조정 없이도 제안된 아키텍처가 도메인(예: 여행 및 식당) 간에 일반화 가능한가?

주요 결과

• 이전 발화를 맥락으로 통합하면, 특히 모호하거나 맥락 의존적인 실체에 대해 NER 성능이 뚜렷이 향상된다.
• 사전 훈련된 단어 및 문자 수준 임베딩을 사용하면 F1 점수에서 측정 가능한 향상이 나타나며, 특히 희귀어나 OOV 실체에서 두드러진다.
• 대화 맥락과 사전 훈련된 임베딩의 조합이 가장 높은 성능을 보이며, 이러한 기능이 없는 기준 모델 대비 상대적 F1 점수 향상이 5% 이상이다.
• 자동 번역 및 이국어 표기된 발화를 포함한 다국어 데이터에서도 모델이 강력한 성능을 유지하여 언어 변형 간의 일반화 능력이 뛰어나다는 것을 시사한다.
• 아블레이션 스터디 결과, 맥락과 임베딩이 짧고 노이즈가 많은 발화 환경에서 모델 강인성 향상에 독립적이고 상호보완적인 기여를 한다는 것이 확인된다.
• 모델은 병합된 여행 및 식당 대화 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 도메인 특화 및 교차 도메인 설정 모두에서 이전 접근 방식을 능가한다.