[논문 리뷰] Survey on English Entity Linking on Wikidata

Cedric Möller, Jens Lehmann외 1명|arXiv (Cornell University)|2021. 12. 03.

Topic Modeling인용 수 3

한 줄 요약

이 종합 검토는 위키데이터 기반 영문 엔티티 링킹(EL)을 분석하여 기존 데이터셋, 접근 방식, 위키데이터 고유의 특성들을 평가한다. 연구 결과 대부분의 EL 방법론이 위키데이터를 다른 지식 그래프와 동일하게 취급하며, 다국어성, 시간 기반 업데이트, 초관계적 구조 등의 잠재력을 충분히 활용하지 못하고 있음을 드러내며, 그래프 임베딩과 유형 정보를 통한 향상 가능성을 제시한다.

ABSTRACT

Wikidata is a frequently updated, community-driven, and multilingual knowledge graph. Hence, Wikidata is an attractive basis for Entity Linking, which is evident by the recent increase in published papers. This survey focuses on four subjects: (1) Which Wikidata Entity Linking datasets exist, how widely used are they and how are they constructed? (2) Do the characteristics of Wikidata matter for the design of Entity Linking datasets and if so, how? (3) How do current Entity Linking approaches exploit the specific characteristics of Wikidata? (4) Which Wikidata characteristics are unexploited by existing Entity Linking approaches? This survey reveals that current Wikidata-specific Entity Linking datasets do not differ in their annotation scheme from schemes for other knowledge graphs like DBpedia. Thus, the potential for multilingual and time-dependent datasets, naturally suited for Wikidata, is not lifted. Furthermore, we show that most Entity Linking approaches use Wikidata in the same way as any other knowledge graph missing the chance to leverage Wikidata-specific characteristics to increase quality. Almost all approaches employ specific properties like labels and sometimes descriptions but ignore characteristics such as the hyper-relational structure. Hence, there is still room for improvement, for example, by including hyper-relational graph embeddings or type information. Many approaches also include information from Wikipedia, which is easily combinable with Wikidata and provides valuable textual information, which Wikidata lacks.

연구 동기 및 목표

• 위키데이터 고유의 엔티티 링킹 데이터셋의 현황과 제작 방식을 분석하기 위해.
• 위키데이터의 고유한 특성들이 EL 데이터셋 설계에 어떤 영향을 미치는지 평가하기 위해.
• 현재의 EL 접근 방식이 위키데이터 고유의 특성, 예를 들어 다국어성과 초관계적 구조를 얼마나 활용하고 있는지 조사하기 위해.
• 기존 EL 접근 방식에서 미사용된 위키데이터의 특성들을 특정하기 위해.
• 위키데이터의 잠재력을 최대한 활용하지 못하는 데이터셋 설계 및 모델 활용의 격차를 드러내어 향후 연구를 이끌기 위해.

제안 방법

• 2011년에서 2020년 사이의 42편의 위키데이터 기반 EL 논문에 대한 체계적 종합 검토.
• annotation 체계, 제작 방법, 언어 지원도 기준으로 데이터셋을 분류.
• 12개의 EL 접근 방식을 분석하여 레이블, 설명, 유형, 그래프 구조와 같은 위키데이터 속성의 사용 여부를 중점적으로 분석.
• 기준 데이터셋에서 F1, 정확도, 재현율 등의 지표를 사용해 접근 방식을 비교.
• HITS, PageRank, Word2Vec, RoBERTa와 같은 트랜스포머 기반 모델을 포함한 모델 아키텍처 평가.
• 현재 EL 파이프라인에서 미사용된 특성들, 예를 들어 초관계적 구조와 시간에 따라 변화하는 업데이트를 특정.

실험 결과

연구 질문

• RQ1 어떤 위키데이터 고유의 엔티티 링킹 데이터셋이 존재하며, 어떻게 제작되었는가?
• RQ2 위키데이터의 고유한 특성들—다국어성과 시간 기반 업데이트 등—은 EL 데이터셋 설계에 어떤 영향을 미치는가?
• RQ3 현재의 EL 접근 방식이 위키데이터 고유의 특성, 예를 들어 초관계적 구조와 유형 정보를 얼마나 활용하고 있는가?
• RQ4 기존 EL 접근 방식에서 여전히 미사용된 위키데이터의 특성들은 무엇인가?
• RQ5 위키데이터와 위키피디아 데이터를 결합한 EL 모델은 성능을 어떻게 향상시키는가?

주요 결과

• 대부분의 위키데이터 기반 EL 데이터셋은 DBpedia와 동일한 annotation 체계를 사용하며, 다국어성이나 시간 기반 특성을 충분히 활용하지 못하고 있다.
• 단지 30%의 EL 접근 방식만이 위키데이터의 초관계적 구조를 활용하고 있으나, 이는 정규화를 향상시킬 잠재력을 지닌다.
• 후보자 순위 매기기 위해 PageRank나 HITS를 사용하는 접근 방식은 성능 향상을 보였지만, 기초적인 연결성 외에 그래프 구조를 활용한 경우는 드물다.
• Botha 등 [15]의 다국어 모델은 F1이 0.91을 기록하여, 위키데이터의 다국어 성격을 적극적으로 활용할 경우 뛰어난 성능을 보임을 입증한다.
• 위키데이터와 위키피디아 텍스트를 결합한 모델(예: DoSeR)은 엔티티 설명을 풍부하게 하여 더 높은 정확도를 달성한다.
• 광범위하게 사용되고 있음에도 불구하고, 단지 15%의 접근 방식만이 유형 정보를 활용하고 있으며, 초관계적 그래프 임베딩는 EL 분야에서 거의 탐색되지 않은 상태이다.