[논문 리뷰] IDEL: In-Database Entity Linking with Neural Embeddings

Torsten Kilias, Alexander Löser외 4명|arXiv (Cornell University)|2018. 03. 13.

Topic Modeling참고 문헌 22인용 수 8

한 줄 요약

IDEL은 텍스트 언급을 관계형 엔티티로 연결하는 첫 번째 통합 데이터베이스 내 엔티티 링킹 시스템을 제시한다. MonetDB와 신경망 임베딩을 결합하여, 파이썬 UDF를 통해 데이터베이스 내에서 신경망 텍스트 마이닝을 실행하고, 공동 벡터 공간 임베딩을 사용함으로써 데이터 이동 비용을 제로로 줄이며, 대조 순서 매김 손실과 최근접 이웃 색인을 활용해 빠르고 정확한 엔티티 링킹을 실현한다. 이는 모호하거나 노이즈가 많은 텍스트 데이터에서 높은 재현율을 달성한다.

ABSTRACT

We present a novel architecture, In-Database Entity Linking (IDEL), in which we integrate the analytics-optimized RDBMS MonetDB with neural text mining abilities. Our system design abstracts core tasks of most neural entity linking systems for MonetDB. To the best of our knowledge, this is the first defacto implemented system integrating entity-linking in a database. We leverage the ability of MonetDB to support in-database-analytics with user defined functions (UDFs) implemented in Python. These functions call machine learning libraries for neural text mining, such as TensorFlow. The system achieves zero cost for data shipping and transformation by utilizing MonetDB's ability to embed Python processes in the database kernel and exchange data in NumPy arrays. IDEL represents text and relational data in a joint vector space with neural embeddings and can compensate errors with ambiguous entity representations. For detecting matching entities, we propose a novel similarity function based on joint neural embeddings which are learned via minimizing pairwise contrastive ranking loss. This function utilizes a high dimensional index structures for fast retrieval of matching entities. Our first implementation and experiments using the WebNLG corpus show the effectiveness and the potentials of IDEL.

연구 동기 및 목표

• 기업 데이터 시스템에서 모호하거나 노이즈가 많은 텍스트 언급을 구조화된 관계형 엔티티로 연결하는 데 도전하는 것.
• 분리된 관계형 데이터베이스 관리 시스템(RDBMS)과 자연어 처리(NLP) 시스템 간의 데이터 이동 및 변환 비용을 제거하기 위해 신경망 NLP 기능을 직접 데이터베이스에 통합하는 것.
• 공동 신경망 임베딩과 데이터베이스 내 유사도 계산을 활용해 효율적이고 확장 가능한 엔티티 링킹을 가능하게 하는 것.
• 신선한 텍스트 데이터를 기존 관계형 데이터베이스에 연결함으로써 브랜드 모니터링 및 재난 위험 평가와 같은 실세계 응용 프로그램을 지원하는 것.
• 단일 최적화된 RDBMS 내에서 엔드 투 엔드 신경망 엔티티 링킹의 가능성과 성능을 입증하는 것.

제안 방법

• 파이썬으로 작성된 사용자 정의 함수(UDF)를 통해 MonetDB를 확장하여 텐서플로우를 호출해 신경망 임베딩 계산을 수행함으로써 MonetDB와 신경 텍스트 마이닝을 통합한다.
• 스킵소프트 기반 신경 임베딩을 사용해 텍스트 언급과 관계형 엔티티를 동일한 고차원 벡터 공간에 표현한다.
• 쌍별 대조 순서 매김 손실을 적용하여, 잘못된 쌍 대비 올바른 엔티티 매칭을 최적화하도록 임베딩 모델을 훈련시킨다.
• 후보 엔티티 검색을 가속화하기 위해 고차원 색인 구조(예: 근사 최근접 이웃)를 사용한다.
• 모든 처리—임베딩 생성, 유사도 스코어링, 후보 검색—을 MonetDB 커널 내에서 수행하여 데이터 이동을 방지한다.
• NumPy 배열을 통한 데이터 교환 기능을 활용해, 최소한의 오버헤드로 효율적인 데이터베이스 내 계산을 실현한다.

실험 결과

연구 질문

• RQ1 외부 데이터 이동 없이 관계형 데이터베이스 관리 시스템 내에서 신경 엔티티 링킹을 효과적이고 효율적으로 실행할 수 있는가?
• RQ2 공동 신경망 임베딩이 공통 벡터 공간에 존재할 때, 모호하거나 노이즈가 많은 엔티티 언급의 재현율과 정밀도를 얼마나 향상시킬 수 있는가?
• RQ3 UDF를 사용해 데이터베이스 엔진에 직접 신경 NLP 기능을 통합할 경우 성능에 어떤 영향을 미치는가?
• RQ4 벡터 공간 유사도와 근사 색인을 활용한 데이터베이스 내 실행이 확장 가능하고 저지연의 엔티티 링킹을 가능하게 하는가?
• RQ5 실세계 엔티티 링킹에서 흔히 나타나는 다중 클래스 및 고도의 모호성 환경에서 대조 순서 매김 손실은 어떻게 성능을 발휘하는가?

주요 결과

• IDEL은 MonetDB와 신경망 임베딩을 사용해 데이터 이동 비용을 완전히 제거한 첫 번째 완전 통합 데이터베이스 내 엔티티 링킹 시스템을 성공적으로 구현하였다.
• 공동 신경망 임베딩을 통해 동의어, 동음이의어, 철자 오류를 효과적으로 처리함으로써 WebNLG 코퍼스에서 높은 재현율을 달성하였다.
• 대조 순서 매김 손실의 사용으로 인해 모델은 올바른 매칭과 잘못된 매칭을 구분할 수 있는 강력한 유사도 함수를 학습하였다.
• 고차원 색인 구조는 후보 엔티티 검색을 크게 가속화하여 대규모 데이터베이스에 적합한 시스템이 되었다.
• 파이썬 UDF와 텐서플로우의 통합을 통해 데이터베이스 내에서 복잡한 NLP 파이프라인을 원활하게 실행할 수 있었으며, 데이터 국지성 유지가 가능했다.
• 이러한 접근은 기업이 데이터 통합 및 분석 워크플로우를 통합하여 다수의 분리된 시스템에 의존하는 것을 줄일 수 있도록 하였다.