[논문 리뷰] Retrofitting Distributional Embeddings to Knowledge Graphs with Functional Relations

Benjamin J. Lengerich, Andrew L. Maas외 1명|arXiv (Cornell University)|2018. 08. 01.

Advanced Graph Neural Networks참고 문헌 18인용 수 10

한 줄 요약

이 논문은 쌍방향 관계를 사용자 정의 가능한 페널티 함수로 명시적으로 모델링함으로써 지식 그래프 리포팅의 일반화를 위한 새로운 프레임워크인 기능적 리포팅(Functional Retrofitting)을 소개한다. 이는 다양한 엔티티 및 관계 유형의 통합을 가능하게 하며, 복잡한 지식 그래프에서 기존 방법을 능가하면서도 단순한 그래프에서는 성능을 유지한다. 또한 대규모 헬스 지식 그래프에서 새로운 약물-질병 치료 쌍을 예측하는 데도 유용하다.

ABSTRACT

Knowledge graphs are a versatile framework to encode richly structured data relationships, but it can be challenging to combine these graphs with unstructured data. Methods for retrofitting pre-trained entity representations to the structure of a knowledge graph typically assume that entities are embedded in a connected space and that relations imply similarity. However, useful knowledge graphs often contain diverse entities and relations (with potentially disjoint underlying corpora) which do not accord with these assumptions. To overcome these limitations, we present Functional Retrofitting, a framework that generalizes current retrofitting methods by explicitly modeling pairwise relations. Our framework can directly incorporate a variety of pairwise penalty functions previously developed for knowledge graph completion. Further, it allows users to encode, learn, and extract information about relation semantics. We present both linear and neural instantiations of the framework. Functional Retrofitting significantly outperforms existing retrofitting methods on complex knowledge graphs and loses no accuracy on simpler graphs (in which relations do imply similarity). Finally, we demonstrate the utility of the framework by predicting new drug–disease treatment pairs in a large, complex health knowledge graph.

연구 동기 및 목표

• 다양한 지식 그래프에서 연결된 엔티티 공간과 관계 유사성 가정을 전제로 하는 기존 리포팅 방법의 한계를 해결하기 위해.
• 지식 그래프 완성에 사용되는 다양한 쌍방향 페널티 함수를 통합된 리포팅 프레임워크에 통합할 수 있도록 하기 위해.
• 사용자가 리포팅 과정에서 직접 관계 의미를 학습하고 추출할 수 있도록 하기 위해.
• 유연한 배포를 위한 선형 및 신경망 구현체를 개발하기 위해.
• 기존 방법이 실패하는 복잡한 지식 그래프에서 프레임워크를 평가하면서도 단순한 그래프에서의 성능를 유지하기 위해.

제안 방법

• 표준 리포팅을 일반화하기 위해 관계를 암묵적 유사성에 의존하는 것이 아니라, 명시적인 쌍방향 제약 조건으로 모델링한다.
• 엔티티 임베딩과 지식 그래프 관계 간의 구조적 일관성을 강제하기 위해 사용자 정의 가능한 페널티 함수를 적용하는 미분 가능한 목적 함수를 도입한다.
• 선형 및 신경망 아키텍처를 모두 지원하여 유연한 최적화 및 표현 학습을 가능하게 한다.
• 페널티 함수는 기존 지식 그래프 완성 방법에서 유도되며, 기존 기법의 직접 재사용을 가능하게 한다.
• 사전 훈련된 분포 임베딩과 지식 그래프의 구조적 제약 조건을 모두 만족하는 엔티티 표현을 학습한다.
• 특히 신경망 구현체에서 리포팅 과정의 학습된 파라미터를 통해 관계 의미를 인코딩하고 추출한다.

실험 결과

연구 질문

• RQ1 관계가 유사성을 암시하지 않는 다양한 분리된 지식 그래프에서 작동하는 리포팅 프레임워크를 설계할 수 있는가?
• RQ2 기존 지식 그래프 완성 페널티 함수를 리포팅 프레임워크에 효과적으로 통합할 수 있는가?
• RQ3 기능적 리포팅이 이전 방법에 비해 복잡하고 이질적인 지식 그래프에서 성능을 얼마나 향상시키는가?
• RQ4 관계가 유사성을 암시하는 단순한 그래프에서 프레임워크는 정확도를 유지할 수 있는가?
• RQ5 실제 헬스 지식 그래프에서 약물-질병 치료 쌍과 같은 의미 있는 새로운 관계를 발견하는 데 프레임워크를 사용할 수 있는가?

주요 결과

• 기능적 리포팅은 복잡한 지식 그래프에서 기존 리포팅 방법을 크게 능가하며, 이질적인 환경에서 뛰어난 일반화 성능을 보였다.
• 기존 유사성 기반 리포팅이 효과적인 단순한 그래프에서도 성능를 유지하여 정확도 저하 없음을 입증했다.
• 기능적 리포팅의 신경망 구현체는 지식 그래프 구조에서 관계 의미를 효과적으로 학습하고 추출할 수 있었다.
• 대규모이고 복잡한 헬스 지식 그래프에서 새로운 약물-질병 치료 쌍을 성공적으로 예측하여 실용적 유용성을 입증했다.
• 다양한 쌍방향 페널티 함수의 사용은 다양한 유형의 지식 그래프에서 프레임워크의 강건성과 적응 가능성 향상에 기여했다.
• 기능적 리포팅은 선형 및 신경망 모델을 모두 지원하는 통합적이고 확장 가능한 프레임워크를 제공한다.