[논문 리뷰] Chatbot: A Conversational Agent employed with Named Entity Recognition Model using Artificial Neural Network

Nazakat Ali|arXiv (Cornell University)|2020. 06. 19.

Topic Modeling참고 문헌 23인용 수 11

한 줄 요약

이 논문은 인공 신경망 기반 Named Entity Recognition (NER) 모델을 통합하여 자연어 이해(NLU)를 향상시키는 챗봇 아키텍처를 제안한다. CoNLL-2003 데이터셋으로 훈련된 NER 모델은 사용자 쿼리에 수동으로 삽입된 엔티티를 자동으로 탐지할 수 있게 하여 도메인 특화 챗봇에서 의도 분류 및 응답 생성 성능을 향상시키며, 대규모 데이터나 복잡한 NLU 파이프라인의 필요성을 줄인다.

ABSTRACT

Chatbot is a technology that is used to mimic human behavior using natural language. There are different types of Chatbot that can be used as conversational agent in various business domains in order to increase the customer service and satisfaction. For any business domain, it requires a knowledge base to be built for that domain and design an information retrieval based system that can respond the user with a piece of documentation or generated sentences. The core component of a Chatbot is Natural Language Understanding (NLU) which has been impressively improved by deep learning methods. But we often lack such properly built NLU modules and requires more time to build it from scratch for high quality conversations. This may encourage fresh learners to build a Chatbot from scratch with simple architecture and using small dataset, although it may have reduced functionality, rather than building high quality data driven methods. This research focuses on Named Entity Recognition (NER) and Intent Classification models which can be integrated into NLU service of a Chatbot. Named entities will be inserted manually in the knowledge base and automatically detected in a given sentence. The NER model in the proposed architecture is based on artificial neural network which is trained on manually created entities and evaluated using CoNLL-2003 dataset.

연구 동기 및 목표

• 초보자 및 소규모 응용 프로그램에 적합한 간단하고 훈련 가능한 챗봇 아키텍처를 개발하기 위해.
• 고품질의 NLU 모듈을 처음부터 구축하는 데 드는 시간과 자원을 줄이기 위해.
• 인공 신경망을 사용하여 Named Entity Recognition (NER)와 Intent Classification을 경량 NLU 파이프라인에 통합하기 위해.
• 사용자 입력에서 수동으로 정의된 엔티티를 자동으로 탐지하여 대화 정확도를 향상시키기 위해.
• 소규모 데이터와 단순한 신경망 아키텍처로도 기능적인 도메인 특화 챗봇을 효과적으로 구축할 수 있음을 보여주기 위해.

제안 방법

• NER 모델은 CoNLL-2003 데이터셋으로 훈련된 인공 신경망을 사용하여 명칭 엔티티 태깅을 수행한다.
• 수동으로 생성된 명칭 엔티티는 참조를 위한 도메인 특화 지식 기반에 삽입된다.
• 챗봇 아키텍처는 사용자 입력을 NER 모델을 거쳐 엔티티를 추출한 후, 의도 분류 모듈로 전달한다.
• NLU 파이프라인은 NER와 의도 분류를 결합하여 맥락에 맞는 응답을 생성한다.
• 검출된 엔티티와 의도에 의해 트리거되는 룰 기반 또는 리트리ieval 기반의 응답 생성 메커니즘이 사용된다.
• 모델 성능을 검증하기 위해 CoNLL-2003 벤치마크에서 표준 NER 평가 지표를 사용하여 평가가 수행된다.

실험 결과

연구 질문

• RQ1 경량의 신경망 기반 NER 모델이 도메인 특화 응용 프로그램의 챗봇 NLU 파이프라인에 효과적으로 통합될 수 있는가?
• RQ2 작은 수동으로 총괄된 지식 기반과 자동으로 탐지된 엔티티를 사용할 경우 챗봇 성능 향상 정도는 어느 정도인가?
• RQ3 제한된 데이터셋으로 훈련된 ANN 기반 NER 모델의 성능이 기준 방법과 비교해 어떻게 되는가?
• RQ4 기본적인 NLU 구성 요소를 갖춘 단순하고 훈련 가능한 챗봇 아키텍처가 실생활 비즈니스 사용 사례에서 만족스러운 정확도를 달성할 수 있는가?
• RQ5 엔티티 탐지 정확도가 대화형 에이전트에서 후속 의도 분류 및 응답 생성에 미치는 영향은 무엇인가?

주요 결과

• 인공 신경망 기반으로 제안된 NER 모델은 CoNLL-2003 벤치마크에서 경쟁적인 성능을 기록하여 엔티티 탐지에 효과적임을 입증한다.
• NLU 파이프라인에 NER를 통합함으로써 사용자 입력으로부터 도메인 특화 엔티티를 정확하게 식별할 수 있다.
• 이 아키텍처는 대규모 데이터나 복잡한 NLU 개발이 필요 없는 간소화된 훈련 가능한 챗봇을 가능하게 한다.
• 작은 데이터셋과 기본적인 신경망 아키텍처로도 의미 있는 의도 이해와 응답 생성이 가능함을 시스템이 입증한다.
• 초보자 및 소규모 개발자가 광범위한 NLP 전문 지식 없이도 기능적인 챗봇을 구축할 수 있는 실질적인 입문점이 제공된다.
• 표준 NER 평가 지표에서의 모델 성능은 기업 도메인에서의 실용적 배포에 있어 신뢰성 있음을 확인한다.