[논문 리뷰] Open-World Knowledge Graph Completion

Baoxu Shi, Tim Weninger|arXiv (Cornell University)|2017. 11. 09.

Topic Modeling참고 문헌 26인용 수 14

한 줄 요약

이 논문은 관계에 따라 내용을 마스킹하는 기법과 완전히 컨volutional 신경망을 사용하여 엔티티 설명에서 관련 텍스트 특징을 추출함으로써, 알려지지 않은 또는 연결성이 낮은 엔티티와 관련된 누락된 관계를 정확하게 예측할 수 있는 새로운 오픈월드 지식 그래프 완성 모델인 ConMask를 소개한다. ConMask는 DBPedia50k 및 DBPedia500k와 같은 대규모 데이터셋에서 강력한 일반화 및 강인성을 보이며, 오픈월드 및 클로즈드월드 KGC 벤치마크에서 기존 모델들을 능가한다.

ABSTRACT

Knowledge Graphs (KGs) have been applied to many tasks including Web search, link prediction, recommendation, natural language processing, and entity linking. However, most KGs are far from complete and are growing at a rapid pace. To address these problems, Knowledge Graph Completion (KGC) has been proposed to improve KGs by filling in its missing connections. Unlike existing methods which hold a closed-world assumption, i.e., where KGs are fixed and new entities cannot be easily added, in the present work we relax this assumption and propose a new open-world KGC task. As a first attempt to solve this task we introduce an open-world KGC model called ConMask. This model learns embeddings of the entity's name and parts of its text-description to connect unseen entities to the KG. To mitigate the presence of noisy text descriptions, ConMask uses a relationship-dependent content masking to extract relevant snippets and then trains a fully convolutional neural network to fuse the extracted snippets with entities in the KG. Experiments on large data sets, both old and new, show that ConMask performs well in the open-world KGC task and even outperforms existing KGC models on the standard closed-world KGC task.

연구 동기 및 목표

• 기존의 클로즈드월드 지식 그래프 완성(KGC) 모델이 알려지지 않은 또는 연결성이 낮은 엔티티에 대한 관계를 예측할 수 없는 한계를 해결하기 위해.
• 기존 지식 그래프에 존재하지 않는 새로운 엔티티를 포함한 삼중항의 예측을 允허하는 오픈월드 KGC 작업을 도입함으로써 클로즈드월드 가정을 완화하기 위해.
• 연결성이 낮거나 알려지지 않은 엔티티에서 위상적 특징의 대체로 텍스트 설명을 효과적으로 활용하기 위한 모델 개발을 위해.
• 엔티티 설명에서 추출한 의미 정보를 통합하여 희소성과 변화가 빈번한 지식 그래프에서 KGC 성능을 향상시키기 위해.

제안 방법

• ConMask는 목표 관계에 따라 관련 텍스트 스니펫을 엔티티 설명에서 추출하기 위해 관계 기반 콘텐츠 마스킹을 사용한다.
• 관계 예측을 위해 마스킹된 텍스트 스니펫과 엔티티 임베딩을 융합하기 위해 완전히 컨volutional 신경망(FCNN)을 활용한다.
• 모델은 엔티티 설명의 의미 평균화와 FCNN에서 학습된 표현을 결합하여 맥락 인식 임베딩을 생성한다.
• 위상적 구조의 대체로 텍스트 특징을 활용하여 연결성이 적거나 전혀 없는 엔티티에 대해서도 예측이 가능하도록 한다.
• 정확한 꼬리 엔티티 예측을 최적화하기 위해 마진 기반 순위 손실을 사용하여 엔드 투 엔드로 모델을 훈련한다.
• ConMask는 새로 공개된 DBPedia50k 및 DBPedia500k 데이터셋을 포함한 오픈월드 및 클로즈드월드 설정에서 평가된다.

실험 결과

연구 질문

• RQ1 오픈월드 가정 하에 원래 지식 그래프에 존재하지 않는 엔티티에 대해 KGC 모델이 누락된 관계를 효과적으로 예측할 수 있는가?
• RQ2 텍스트 설명은 관계 예측에서 위상적 연결성 부족을 얼마나 효과적으로 보완할 수 있는가?
• RQ3 관계 기반 콘텐츠 마스킹이 KGC에서 텍스트 특징 추출의 관련성과 성능을 향상시키는가?
• RQ4 오픈월드 KGC에 특화된 모델이 표준 클로즈드월드 KGC 벤치마크에서도 경쟁력을 갖출 수 있는가?
• RQ5 대규모 실세계 지식 그래프에서 ConMask는 기존 KGC 모델들과 비교해 평균 순위와 MRR 측면에서 어떻게 성능을 내는가?

주요 결과

• ConMask는 콘텐츠 추출 없이 의미 평균화만 사용하는 베이스라인 모델 대비 DBPedia50k 및 DBPedia500k 데이터셋에서 평균 순위 성능을 최소 60% 향상시켰다.
• 콘텐츠 추출에서 얻는 성능 향상은 더 큰 DBPedia500k 데이터셋에서 더 두드러지며, 고커버리지 환경에서 텍스트 특징의 스케일러빌리티와 유용성이 높음을 시사한다.
• DBPedia50k 데이터셋에서 ConMask는 TransE 및 TransR과 같은 표준 클로즈드월드 KGC 모델들을 능가했으며, 특히 희소 그래프 처리 능력 덕분에 유의미한 성능 향상을 보였다.
• DBPedia500k 데이터셋에서는 TransR 학습 실패로 결과가 없었음에도 불구하고 ConMask는 경쟁 가능한 성능을 달성하여 강인성과 효율성을 입증했다.
• 복잡한 관계인 'notable work' 및 'writer'와 같은 경우에도 엔티티 이름이 설명에 직접 포함되지 않아도 대부분의 경우 정확한 엔티티를 상위 3개 예측에 포함시키는 데 성공했다.
• ConMask는 관계와 의미적으로 유사한 엔티티(예: 'writer' 관계에 대해 'writer'라는 의미적 유사 엔티티)를 순위 매길 때 성능 저하가 발생할 수 있는 명백한 한계를 보였으며, 이는 향후 필터링 기법이 필요함을 시사한다.