[논문 리뷰] DOLORES: Deep Contextualized Knowledge Graph Embeddings

Haoyu Wang, Vivek Kulkarni외 1명|arXiv (Cornell University)|2018. 10. 31.

Advanced Graph Neural Networks참고 문헌 28인용 수 15

한 줄 요약

Dolores는 양방향 LSTM를 사용하여 엔티티-관계 체인에서 엔티티 및 관계 표현을 학습함으로써 문맥 독립적이고 문맥 의존적인 의미를 모두 포착하는 깊이 있는 컨텍스츄얼라이즈드 지식 그래프 임베딩을 제안한다. 기존의 얕은 모델들(예: TransE)보다 더 풍부한 문맥적 의존성을 모델링함으로써 링크 예측, 삼중체 분류, 누락된 관계 유형 예측 등에서 최신 기술 수준의 성능을 크게 향상시켰으며, 최대 9.5% 향상됨.

ABSTRACT

We introduce a new method DOLORES for learning knowledge graph embeddings that effectively captures contextual cues and dependencies among entities and relations. First, we note that short paths on knowledge graphs comprising of chains of entities and relations can encode valuable information regarding their contextual usage. We operationalize this notion by representing knowledge graphs not as a collection of triples but as a collection of entity-relation chains, and learn embeddings for entities and relations using deep neural models that capture such contextual usage. In particular, our model is based on Bi-Directional LSTMs and learn deep representations of entities and relations from constructed entity-relation chains. We show that these representations can very easily be incorporated into existing models to significantly advance the state of the art on several knowledge graph prediction tasks like link prediction, triple classification, and missing relation type prediction (in some cases by at least 9.5%).

연구 동기 및 목표

• 기존 지식 그래프 임베딩 기법들이 엔티티 및 관계 간의 문맥적 의존성을 포착하지 못하는 한계를 해결하기 위해.
• 엔티티-관계 체인의 순차적 표현을 통해 문맥적 사용을 모델링하는 딥 러닝 기반 방법을 개발하기 위해.
• 링크 예측, 삼중체 분류, 누락된 관계 유형 예측과 같은 지식 그래프 예측 작업의 성능을 향상시키기 위해.
• 기존 예측 모델에 컨텍스트를 반영한 임베딩을 즉시 통합할 수 있도록 하기 위해.
• 전이 학습 및 후행 NLP 작업을 위한 다층 표현의 유용성을 탐색하기 위해.

제안 방법

• 지식 그래프를 고립된 삼중체가 아니라, 정규화된 무작위 보행에서 유도된 엔티티-관계 체인의 시퀀스로 표현하기.
• 이러한 체인을 인코딩하고, 엔티티 및 관계의 깊이 있고 컨텍스트를 반영한 표현을 학습하기 위해 양방향 LSTM를 사용하기.
• 다양한 레이어에서 LSTM의 은닉 상태로부터 문맥 독립적 및 문맥 의존적 임베딩을 추출하기.
• 다른 LSTM 레이어에서 유도된 계층적 표현을 활용하여 다양한 수준의 추상화를 포착하기.
• 학습된 임베딩을 후행 지식 그래프 예측 모델의 입력 특징으로 사용하기.
• 순차적 체인에서 언어 모델링 목적을 사용하여 모델을 종합적으로 훈련하기.

실험 결과

연구 질문

• RQ1 딥 네ural 순차 모델은 지식 그래프의 엔티티 및 관계에 대해 효과적으로 컨텍스트를 반영한 표현을 학습할 수 있는가?
• RQ2 순차 모델링을 통한 문맥 의존적 임베딩은 기존의 문맥 독립적 임베딩에 비해 예측 작업에서 어떻게 비교되는가?
• RQ3 Dolores 임베딩은 기존 지식 그래프 예측 모델의 성능을 어느 정도 향상시킬 수 있는가?
• RQ4 어떤 종류의 관계나 엔티티가 컨텍스트를 반영한 표현에서 가장 많은 이점을 얻는가?
• RQ5 딥 모델의 다층 표현은 지식 그래프 작업에서 전이 학습에 효과적으로 활용될 수 있는가?

주요 결과

• Dolores는 TransE와 같은 기준 모델 대비 링크 예측 성능을 최대 9.5% 향상시키며, 특히 음식, 사용자, 올림픽과 같은 특정 관계 유형에서 뚜렷한 향상이 있음.
• 루 코스텔로 또는 카바레트와 같은 특정 헤드 엔티티를 가진 삼중체에서 Dolores는 TransE보다 훨씬 낮은 평균 순위를 기록함으로써 엔티티 특화된 문맥을 더 잘 모델링함을 보여줌.
• ‘공통’, ‘기초’, ‘미디어 공통’과 같은 넓고 일반적인 관계에서는 성능이 가장 낮으며, 구분 가능한 특징가 부족해 정확한 테일 엔티티 예측이 어려움.
• 문맥 의존적 임베딩은 국적(예: 오스트리아인, 독일인)과 거주지(예: 비엔나) 기반으로 엔티티를 효과적으로 군집화하며, 베토벤과 브람스를 독일 음악가와 오스트리아 음악가 사이에 정확히 위치시킴.
• 다양한 LSTM 레이어에서 유도된 깊이 있고 계층적인 표현은 다양한 수준의 추상화를 포착하여 얕은 모델보다 더 풍부한 모델링을 가능하게 함.
• Dolores 임베딩는 기존 모델에 즉시 통합할 수 있으며, 아키텍처 변경 없이 성능 향상을 이끌 수 있음.