[논문 리뷰] Scalable graph-based individual named entity identification

Sammy Khalife, Michalis Vazirgiannis|arXiv (Cornell University)|2018. 11. 26.

Topic Modeling참고 문헌 26인용 수 6

한 줄 요약

이 논문은 확장 가능한 명명된 엔티티 링킹(NEL)을 위한 이단계 그래프 기반 접근법을 제안한다. 먼저 정보 검색 기법을 사용해 후보 엔티티를 필터링하고, 이후 그래프 마이닝과 그래프 커널을 활용해 상위-K 결과를 재순서 정렬한다. NIST TAC-KBP 데이터셋에서 최고 수준의 정밀도@1(P@1) 성능을 달성했으며, CONLL/AIDA에서도 경쟁력 있는 성능을 보이며 기존 그래프 기반 방법을 능가하고, 더 적은 초모수와 더 적은 레이블 데이터를 요구하는 딥러닝 시스템과도 견줄 만하다.

ABSTRACT

Named entity discovery (NED) is an important information retrieval problem that can be decomposed into two sub-problems. The first sub-problem, named entity recognition (NER), aims to tag pre-defined sets of words in a vocabulary (called "named entities": names, places, locations, ...) when they appear in natural language. The second subproblem, named entity linking/identification (NEL), considers these entity mentions as queries to be identified in a pre-existing database. In this paper, we consider the NEL problem, and assume a set of queries (or mentions) that have to be identified within a knowledge base. This knowledge base is represented by a text database paired with a semantic graph. We present state-of-the-art methods in NEL, and propose a 2-step method for individual identification of named entities. Our approach is well-motivated by the limitations brought by recent deep learning approaches that lack interpratability, and require lots of parameter tuning along with large volume of annotated data. First of all, we propose a filtering algorithm designed with information retrieval and text mining techniques, aiming to maximize precision at K (typically for 5 <= K <=20). Then, we introduce two graph-based methods for named entity identification to maximize precision at 1 by re-ranking the remaining top entity candidates. The first identification method is using parametrized graph mining, and the second similarity with graph kernels. Our approach capitalizes on a fine-grained classification of entities from annotated web data. We present our algorithms in details, and show experimentally on standard datasets (NIST TAC-KBP, CONLL/AIDA) their performance in terms of precision are better than any graph-based method reported, and competitive with state-of-the-art systems. Finally, we conclude on the advantages of our graph-based approach compared to recent deep learning methods.

연구 동기 및 목표

• 딥러닝 기반 NEL의 한계, 즉 낮은 해석 가능성과 높은 데이터/파rameter 요구량을 해결하기 위해.
• 구조화된 지식 그래프를 활용해 개별 명명된 엔티티 식별의 정밀도를 향상시키기 위해.
• 기존 그래프 기반 접근법을 능가하는 확장 가능하고 효율적이며 튜닝이 적은 NEL 방법을 개발하기 위해.
• 세분화된 엔티티 유형을 제공하는 실용적이고 구현 가능한 시스템을 개발하여 실세계 NEL 응용에 활용하기 위해.

제안 방법

• 첫 번째로, 정보 검색과 텍스트 마이닝을 활용한 필터링 알고리즘이 후보 엔티티를 상위-K(5 ≤ K ≤ 20)로 줄여내며, K에서의 정밀도를 최대화한다.
• 두 번째로, 두 가지 그래프 기반 재순서 정렬 방법을 도입한다: 파rametrized 그래프 마이닝(SGM)과 그래프 커널 비교(GK)로 정밀도@1을 최대화한다.
• 이 방법들은 각 후보 엔티티 중심의 지식 서브그래프에 기반하며, 의미적 관계와 엔티티 유형을 사용해 유사도 특징을 계산한다.
• 특징은 국소 지식 서브그래프에서 추출되며, 후보 엔티티와 정답 엔티티 간의 효과적인 비교를 가능하게 한다.
• 이 접근법은 세분화된 엔티티 유형(예: PER: Actor, ORG: SoccerClub)의 가용성을 가정하며, 후보 필터링과 그래프 구축을 이끄는 데 사용된다.
• 계산 복잡도는 쿼리 수와 엔티티 수에 대해 선형이므로, 대규모 지식 기반에서도 확장 가능하다.

실험 결과

연구 질문

• RQ1 그래프 기반 접근법이 기존 그래프 기반 NEL 방법보다 정밀도@1(P@1)에서 뛰어난 성능을 낼 수 있는가?
• RQ2 상위-K 필터링에서 K의 선택이 재순서 정렬 단계에서의 최종 정밀도@1에 어떤 영향을 미치는가?
• RQ3 더 적은 초모수와 더 적은 레이블 데이터를 요구하는 방법이 최신 딥러닝 시스템과 경쟁 가능한 성능을 달성할 수 있는가?
• RQ4 엔드 투 엔드 딥러닝 모델에 비해 그래프 기반 특징을 사용할 경우, 해석 가능성과 효율성이 얼마나 향상되는가?

주요 결과

• 제안된 방법은 모든 그래프 기반 방법 중에서 NIST TAC-KBP 2009 및 2010 데이터셋에서 보고된 바 중 가장 높은 P@1 성능을 달성했다.
• CONLL/AIDA 데이터셋에서는 최신 시스템과 경쟁 가능했으며, 다양한 벤치마크 간의 강력한 일반화 능력을 보였다.
• 탐색과 필터링의 균형을 이루는 최적의 K 범위는 5에서 10 사이였으며, 이 범위 이외의 값에서는 성능이 떨어졌다.
• 계산 시간은 효율적이었다: 1,000개의 쿼리 서브인스턴스와 280만 개의 엔티티에서 필터링은 약 44분, SGM은 약 14분, GK는 약 16분이 소요되었다.
• 분산 시스템에서도 잘 스케일링되었으며, 20개의 CPU 클러스터에서 실험 시간이 크게 감소했다.
• 높은 성능를 달성하기 위해 수천 개의 학습 샘플만 필요했으며, 이는 딥러닝 모델에 비해 데이터 의존도가 낮음을 시사한다.