[논문 리뷰] Leveraging Deep Neural Networks and Knowledge Graphs for Entity Disambiguation

Hongzhao Huang, Larry Heck외 1명|arXiv (Cornell University)|2015. 04. 28.

Topic Modeling참고 문헌 48인용 수 93

한 줄 요약

이 논문은 심층 신경망(DNNs)과 의미 지식 그래프(KGs)에서 유래한 이질적 지식—엔티티 사실, 유형, 기술서술—을 활용하여 엔티티의 저차원적이고 의미적으로 풍부한 표현을 학습하는 딥 세미틱 리레이티드니스 모델(DSRM)을 제안한다. 대규모 지식 그래프에서 감독 학습을 통해 의미적으로 관련된 엔티티 간의 거리를 최소화하도록 DSRM를 훈련시킴으로써, 정규화된 구글 거리 기반의 최신 기법보다 두 공개 데이터셋에서 엔티티 해석 오류가 각각 19.4%와 24.5% 감소한다.

ABSTRACT

Entity Disambiguation aims to link mentions of ambiguous entities to a knowledge base (e.g., Wikipedia). Modeling topical coherence is crucial for this task based on the assumption that information from the same semantic context tends to belong to the same topic. This paper presents a novel deep semantic relatedness model (DSRM) based on deep neural networks (DNN) and semantic knowledge graphs (KGs) to measure entity semantic relatedness for topical coherence modeling. The DSRM is directly trained on large-scale KGs and it maps heterogeneous types of knowledge of an entity from KGs to numerical feature vectors in a latent space such that the distance between two semantically-related entities is minimized. Compared with the state-of-the-art relatedness approach proposed by (Milne and Witten, 2008a), the DSRM obtains 19.4% and 24.5% reductions in entity disambiguation errors on two publicly available datasets respectively.

연구 동기 및 목표

• 기존의 엔티티 유사도 측정 방법의 한계, 즉 위키백과 앵커 링크 의존성과 인기 엔티티에 대한 편향을 해결하기 위해.
• 엔티티 해석에서 주제 일관성 모델링을 향상시키기 위해 엔티티 간의 더 정확한 의미적 유사도를 학습하기 위해.
• 의미 지식 그래프(KG)가 엔티티 유사도 측정에 있어 위키백과 앵커 링크보다 우월한지 탐색하기 위해.
• 심층 신경망(DNNs)이 전통적 방법인 정규화된 구글 거리(NGD)와 벡터 공간 모델(VSP)보다 관련성 측정에서 슈퍼어리어어를 보일 수 있는지 평가하기 위해.
• DNN 기반 의미 표현과 그래프 정규화를 통합하여 향상된 해석 성능을 얻는 통합 프레임워크를 개발하기 위해.

제안 방법

• DSRM는 구조적 사실(엔티티 삼중항), 엔티티 유형, 텍스트 기술서술을 포함한 이질적 의미 지식을 통합된 잠재 공간에 인코딩한다.
• 모델은 다층 비선형 변환을 갖는 심층 신경망을 사용하여 엔티티 표현을 의미적으로 관련된 엔티티가 거리 측정에서 가까워지도록 저차원 벡터 공간으로 매핑한다.
• 훈련은 대규모 지식 그래프와 위키백과에서 감독 방식으로 수행되며, 의미적으로 관련된 엔티티 쌍 간의 거리를 최소화하도록 최적화된다.
• DSRM는 비감독적 그래프 정규화 프레임워크(GraphRegu)에 통합되어 문서 맥락 내 언급 간 주제 일관성 모델링을 수행한다.
• 이 방법은 네 가지 지식 유형—엔티티 사실, 엔티티 유형, 기술서술, 관계—을 결합하며, 최적 성능을 위해 DSRM는 네 가지 모두에서 훈련된다(DSRM 1234).
• 표준 평가 지표인 AIDA 및 트윗 데이터셋에서 nDCG와 P@1.0을 사용하여 모델을 평가하며, NGD, VSP 및 M&W 기준선과 비교한다.

실험 결과

연구 질문

• RQ1 의미 지식 그래프에서 훈련된 심층 신경망이 기존의 정규화된 구글 거리와 같은 전통적 방법보다 더 정확한 엔티티 유사도 점수를 생성할 수 있는가?
• RQ2 의미 지식 그래프에서 유도된 구조적 및 텍스트 지식의 사용이 위키백과 앵커 링크에만 의존하는 것보다 관련성 측정에 더 효과적인가?
• RQ3 DSRM가 앵커 링크 기반 외의 의미 관계를 포착할 수 있는 능력이 엔티티 해석 성능 향상에 기여하는가?
• RQ4 DSRM와 그래프 정규화의 통합이 엔티티 해석에서 주제 일관성 모델링을 어떻게 향상시키는가?
• RQ5 DNN 기반 모델이 관련성 측정 및 해석 작업 모두에서 전통적인 벡터 공간 모델 및 확률 모델을 능가할 수 있는가?

주요 결과

• 모든 네 가지 지식 유형을 사용한 DSRM 1234는 M&W 기준선 대비 AIDA 뉴스 데이터셋에서 24.5%의 상대적 오류 감소를 달성했다.
• 트윗 데이터셋에서는 DSRM 1234가 M&W 방법 대비 19.4%의 상대적 오류 감소를 기록했다.
• DSRM는 트윗 세트에서 관련성 측정(nDCG@10: 0.74 vs. 0.58)과 해석 성능(P@1.0: 71.72% vs. 69.17%) 모두에서 NGD와 VSP를 크게 앞섰다.
• 의미 지식 그래프가 위키백과 앵커 링크보다 관련성 측정에 더 우월한 것으로 밝혀졌으며, KG 기반 NGD와 VSP는 위키백과 앵커 기반 대비 상당히 높은 성능을 보였다(p ≤ 0.05).
• DSRM는 테스트된 모든 방법 중에서 가장 높은 nDCG@1(0.81)과 MAP(0.68) 점수를 기록하여 관련 엔티티의 순위 정확도가 뛰어나다는 것을 시사했다.
• 모델은 관련성 점수 0.68로 'Middlesbrough'을 'Middlesbrough F.C.'로 정확히 해석했지만, M&W는 정확한 쌍과 잘못된 쌍에 동일한 점수(0.39)를 기록해 실패했다.