[논문 리뷰] SlugNERDS: A Named Entity Recognition Tool for Open Domain Dialogue Systems

Kevin K. Bowden, Jiaqi Wu외 3명|arXiv (Cornell University)|2018. 05. 09.

Topic Modeling인용 수 16

한 줄 요약

SlugNERDS는 개방형 대화 시스템을 위한 명명된 엔티티 인식 및 연결 도구로, 굵은 엔티티 유형과 온톨로지 정렬 부족 등의 한계를 해결하기 위해 설계되었다. 이 도구는 Schema.org 엔티티 유형을 활용하며, 엔티티 분류 및 맥락 기반 연결을 향상시키기 위해 두 가지 새로운 자원인 SlugEntityDB와 SchemaActuator를 도입하였다. 기존의 전통적인 NER 시스템에 비해 다양한 실제 대화에서 더 높은 정확도를 달성하였다.

ABSTRACT

In dialogue systems, the tasks of named entity recognition (NER) and named entity linking (NEL) are vital preprocessing steps for understanding user intent, especially in open domain interaction where we cannot rely on domain-specific inference. UCSC's effort as one of the funded teams in the 2017 Amazon Alexa Prize Contest has yielded Slugbot, an open domain social bot, aimed at casual conversation. We discovered several challenges specifically associated with both NER and NEL when building Slugbot, such as that the NE labels are too coarse-grained or the entity types are not linked to a useful ontology. Moreover, we have discovered that traditional approaches do not perform well in our context: even systems designed to operate on tweets or other social media data do not work well in dialogue systems. In this paper, we introduce Slugbot's Named Entity Recognition for dialogue Systems (SlugNERDS), a NER and NEL tool which is optimized to address these issues. We describe two new resources that we are building as part of this work: SlugEntityDB and SchemaActuator. We believe these resources will be useful for the research community.

연구 동기 및 목표

• 개방형 대화 시스템에서 기존 NER 시스템의 한계, 특히 굵은 엔티티 레이블링과 의미론적 온톨로지 통합 부족 문제를 해결하기 위해.
• Schema.org를 공동 분류 체계로 사용하여 세밀한, 의미적으로 유의미한 엔티티 분류를 지원하는 시스템을 개발하기 위해.
• 대화 수준의 엔티티 유형과 액션-유형 매핑을 포함한 새로운 자원 두 개인 SlugEntityDB와 SchemaActuator를 구축하고 공개하기 위해.
• 논의 수준의 엔티티 연결 및 주제 변화가 일어나는 맥락에서의 의미적 해소를 가능하게 하여 대화 이해를 향상시키기 위해.
• 대부분의 실제 대화에서 발생하는 문제들, 예를 들어 대문자 오류, 모호한 엔티티 참조, 지식 그래프 커버리지 부족 등의 과제를 극복하기 위해.

제안 방법

• 시스템은 규칙 기반 및 학습 기반 컴포넌트의 조합을 사용하여 Schema.org에서 정의한 유형(예: Movie, Person, SportsTeam)을 기반으로 명명된 엔티티를 탐지하고 분류한다.
• SlugNERDS는 대화 수준의 지시어 해소를 통합하여 'he'와 같은 대명사를 이전에 언급된 엔티티에 연결함으로써 맥락 일관성을 향상시킨다.
• 엔티티 연결을 위해 Google 지식 그래프를 활용하며, 사용자 입력에서의 대소문자 및 구두점 변형을 처리하기 위해 쿼리 최적화 기법을 적용한다.
• 사용자 액션(예: 'watched', 'saw', 'read')을 해당 엔티티 유형으로 매핑하는 SchemaActuator를 도입하여 의도 탐지 능력을 향상시킨다.
• SlugEntityDB는 10,000건이 넘는 실제 사용자 대화로 구성된 새로운 코퍼스로, 세밀한 Schema.org 엔티티 유형과 맥락적 관계가 주석 처리되어 있다.
• 시스템은 Slugbot 소셜 봇으로부터의 실제 대화 데이터를 기반으로 훈련 및 평가되었으며, 입력 텍스트 품질과 엔티티 연결 정확도 향상을 위해 반복적인 개선이 이루어졌다.

실험 결과

연구 질문

• RQ1 개방형 대화 시스템에서 엔티티 유형이 매우 다양하고 맥락에 따라 달라지는 환경에서 명명된 엔티티 인식은 어떻게 향상시킬 수 있는가?
• RQ2 Schema.org 엔티티 유형은 개방형 대화에서 NER의 정밀도와 의미적 풍부성을 어느 정도 향상시킬 수 있는가?
• RQ3 사용자가 갑작스럽게 주제를 바꾸거나 대명사를 사용할 경우, 논의 수준의 지시어 해소가 엔티티 연결 정확도를 향상시키는가?
• RQ4 입력 품질 문제(예: 문장 부호 누락, 대문자 오류 등)는 엔티티 인식 및 연결 성능에 어떤 영향을 미치는가?
• RQ5 기존의 NER 및 NEL 시스템이 개방형 대화에 적용되었을 때의 주요 실패 원인은 무엇이며, 이를 어떻게 완화할 수 있는가?

주요 결과

• SlugNERDS는 기존의 전통적인 NER 시스템에 비해 개방형 대화에서 더 높은 정확도를 달성하며, PERSON이나 ORGANIZATION와 같은 굵은 카테고리가 아닌 세밀한 Schema.org 엔티티 유형을 사용함으로써 성능을 향상시켰다.
• SchemaActuator의 도입으로 사용자 액션(예: 'read' → BookSeries)에 기반해 올바른 엔티티 유형을 식별할 수 있게 되어 의도 탐지 능력과 후속 질문의 품질이 향상되었다.
• 논의 수준의 지시어 해소가 주제 변화가 일어나는 상황에서도 'he'와 같은 대명사를 정확한 전행어에 연결하는 데 성공하여 맥락 이해 능력이 향상되었다.
• 쿼리 정규화 및 히ュ리스틱 매칭 전략을 통해 입력 노이즈(예: 대문자 누락, 문장 부호 누락 등)에 대해 뛰어난 내성성을 보였다.
• 예를 들어 'Sacramento Airport'와 'Sacramento International Airport' 간의 모호성과 같은 일반적인 엔티티 연결 오류는 맥락적 지리 정보를 통합함으로써 감소시켰다.
• 이러한 개선에도 불구하고, Google 지식 그래프에 존재하지 않는 엔티티(예: 비디오 게임 콘솔, 운영 체제 등)의 경우 해석 문제에 직면해 있어 더 포괄적인 지식 기반의 필요성을 드러냈다.