[논문 리뷰] High-Throughput and Language-Agnostic Entity Disambiguation and Linking on User Generated Data

Preeti Bhargava, Nemanja Spasojevic외 1명|arXiv (Cornell University)|2017. 03. 13.

Topic Modeling참고 문헌 17인용 수 5

한 줄 요약

이 논문은 다국어 환경에서 높은 처리량을 자랑하는 언어 독립적 엔티티 정규화 및 연결 프레임워크인 Lithium EDL 시스템을 제안한다. 이 시스템은 언급-엔티티 동시 발생, 엔티티 인기도, 맥락 유사성 등의 맥락 의존적 및 맥락 비의존적 특징을 활용하여 다국어 환경에서 엔티티를 정규화하고 연결한다. Google Cloud NLP 및 OpenCalais와 같은 최첨단 시스템보다 75퍼센트 더 많은 엔티티를 추출하고 정확하게 정규화하며, 일반 하드웨어에서도 상당히 빠른 속도로 실행된다.

ABSTRACT

The Entity Disambiguation and Linking (EDL) task matches entity mentions in text to a unique Knowledge Base (KB) identifier such as a Wikipedia or Freebase id. It plays a critical role in the construction of a high quality information network, and can be further leveraged for a variety of information retrieval and NLP tasks such as text categorization and document tagging. EDL is a complex and challenging problem due to ambiguity of the mentions and real world text being multi-lingual. Moreover, EDL systems need to have high throughput and should be lightweight in order to scale to large datasets and run on off-the-shelf machines. More importantly, these systems need to be able to extract and disambiguate dense annotations from the data in order to enable an Information Retrieval or Extraction task running on the data to be more efficient and accurate. In order to address all these challenges, we present the Lithium EDL system and algorithm - a high-throughput, lightweight, language-agnostic EDL system that extracts and correctly disambiguates 75% more entities than state-of-the-art EDL systems and is significantly faster than them.

연구 동기 및 목표

• 엔티티 정규화 및 연결(EDL)에서의 모호성, 다국어 사용자 생성 콘텐츠, 고처리량, 풍부한 엔티티 애너테이션 문제를 해결하기 위해.
• 대규모 데이터셋에 대해 고성능으로 작동할 수 있는 경량이며 확장 가능한 EDL 시스템을 개발하기 위해.
• 사람, 조직 등의 명시적 엔티티를 넘어서 전문 직위, 스포츠, 활동 등에도 확장된 엔티티 인식을 구현하기 위해.
• 영어, 아랍어, 스페인어, 프랑스어, 독일어, 일본어 등 다양한 언어를 지원하면서 성능이나 정확도를 저하시키지 않기 위해.
• 엔티티 커버리지와 런타임 효율성 측면에서 기존 상용 및 연구용 EDL 시스템을 모두 능가하기 위해.

제안 방법

• 시스템은 맥락 의존적 특징(예: 언급-엔티티 동시 발생, 맥락 유사성)과 맥락 비의존적 특징(예: 엔티티 인기도, 언급 빈도)을 조합한 하이브리드 접근 방식을 사용한다.
• 엔티티 인기도, 언급-엔티티 연관성, 맥락 유사성의 증거를 통합하는 데서 유일한 프레임워크를 구현하기 위해 생성 모델을 적용한다.
• 공통적인 특징인 동시 발생 패턴과 엔티티 인기도에 기반함으로써 언어 특화 모델을 피하는 방식으로 언어 독립적인 아키텍처를 설계한다.
• 빠른 검색과 정규화를 위해 사전 색인된 지식 기반(초기에는 Freebase, 향후 위키백과로 이관 예정)을 활용한다.
• 사전 처리 및 정규화 단계에서의 계산 오버헤드를 최소화함으로써 고처리량을 최적화한다.
• 텍스트 사전 처리와 정규화를 분리한 확장 가능한 파이프라인 아키텍처를 사용하여 병렬 처리와 효율적 자원 활용을 가능하게 한다.

실험 결과

연구 질문

• RQ1 언어 독립적 EDL 시스템이 Google Cloud NLP 및 OpenCalais와 같은 상용 시스템보다 더 높은 엔티티 커버리지를 달성할 수 있는가?
• RQ2 고처리량이면서 경량인 EDL 시스템의 성능은 최첨단 시스템과 비교해 속도 및 확장성 측면에서 어떻게 다른가?
• RQ3 맥락 의존적 및 맥락 비의존적 특징이 다양한 언어와 엔티티 유형에서 정규화 정확도와 재현율을 얼마나 향상시킬 수 있는가?
• RQ4 시스템이 높은 정밀도와 재현율로 비명시적 엔티티(예: 활동, 전문 직위)를 추출하고 정확하게 정규화할 수 있는가?
• RQ5 기존 프레임워크와 비교해 대규모 다국어 사용자 생성 콘텐츠에서 시스템의 런타임 성능은 어떻게 스케일링되는가?

주요 결과

• Lithium EDL 시스템은 Google Cloud NLP보다 최소 75퍼센트 더 많은 엔티티를 정규화하며, Google NL이 놓친 것으로 추정되는 약 6,080개의 정확한 엔티티를 성공적으로 식별했다.
• OpenCalais가 놓친 3,500개 이상의 엔티티를 시스템이 식별함으로써 이 상용 API보다 훨씬 높은 재현율을 보였다.
• Lithium 파이프라인의 텍스트 사전 처리 단계는 Stanford NLP NER에 의존하는 AIDA보다 30,000~50,000배 빠르다.
• 비슷한 정규화 런타임을 유지하나, AIDA보다 50KB당 2.8배 더 많은 엔티티를 추출한다.
• 고유 엔티티 1개를 추출하는 데 소요되는 정규화 런타임은 AIDA 대비 Lithium 파이프라인에서 3.5배 더 빠르다.
• Google NL, OpenCalais, AIDA가 놓친 'iOS'와 '테크 산업' 같은 엔티티를 성공적으로 정규화하고 연결함으로써 뛰어난 표현력과 커버리지를 입증했다.