[논문 리뷰] Knowledge Representation via Joint Learning of Sequential Text and Knowledge Graphs

Jiawei Wu, Ruobing Xie외 2명|arXiv (Cornell University)|2016. 09. 22.

Topic Modeling참고 문헌 24인용 수 14

한 줄 요약

이 논문은 순차적 텍스트와 지식 그래프를 RNN/LSTM 인코더와 어휘 기반 주의 메커니즘을 통해 통합하는 연속적 텍스트- embodiment 지식 표현 학습(STKRL)을 제안한다. 이는 엔티티 표현을 향상시키기 위해 정보가 풍부한 문장을 효과적으로 선택하고 맥락적 의미를 인코딩함으로써 삼중항 분류 및 링크 예측에서 베이스라인을 능가한다.

ABSTRACT

Textual information is considered as significant supplement to knowledge representation learning (KRL). There are two main challenges for constructing knowledge representations from plain texts: (1) How to take full advantages of sequential contexts of entities in plain texts for KRL. (2) How to dynamically select those informative sentences of the corresponding entities for KRL. In this paper, we propose the Sequential Text-embodied Knowledge Representation Learning to build knowledge representations from multiple sentences. Given each reference sentence of an entity, we first utilize recurrent neural network with pooling or long short-term memory network to encode the semantic information of the sentence with respect to the entity. Then we further design an attention model to measure the informativeness of each sentence, and build text-based representations of entities. We evaluate our method on two tasks, including triple classification and link prediction. Experimental results demonstrate that our method outperforms other baselines on both tasks, which indicates that our method is capable of selecting informative sentences and encoding the textual information well into knowledge representations.

연구 동기 및 목표

• 대규모 지식 그래프에서의 데이터 희소성과 계산 비효율 문제를 해결하기 위해 엔티티 표현을 텍스트 정보로 풍부화시키는 것.
• 이전 연구에서 사용된 단어 집합 모델의 한계를 극복하기 위해 엔티티 설명의 순서적 맥락과 어순을 포착하는 것.
• 각 엔티티에 대해 정보가 풍부한 참조 문장을 동적으로 식별하고 우선순위를 정함으로써 잡음이나 관련 없는 내용을 걸러내는 것.
• 어휘 기반 강화된 순서 인식 인코딩을 사용해 텍스트 의미를 지식 표현 학습에 통합하는 것.
• 텍스트와 지식 그래프의 공동 학습을 통해 링크 예측 및 삼중항 분류와 같은 후행 작업의 성능을 향상시키는 것.

제안 방법

• 각 엔티티의 참조 문장을 순차적 맥락을 유지하면서 RNN 또는 LSTM 네트워크를 사용해 문장 수준의 표현으로 인코딩한다.
• 각 문장의 정보성에 가중치를 주기 위해 주의 메커니즘을 적용하여 엔티티 표현에 가장 관련성이 높은 문장을 동적으로 선택한다.
• 문장 수준의 표현을 주의 점수를 기반으로 조합하여 각 엔티티에 대한 통합된 요약 기반 텍스트 표현을 형성한다.
• 번역 기반 모델의 마진 기반 점수 함수를 사용해 텍스트 기반 엔티티 표현과 표준 지식 그래프 임베딩을 통합한다.
• 지식 그래프 보완과 텍스트 기반 표현 학습을 동시에 최적화하는 공동 목표를 사용해 모델을 종단 간(end-to-end)으로 훈련시킨다.
• 다중 인스턴스 학습과 주의 메커니즘을 활용해 각 엔티티당 여러 참조 문장을 모델링함으로써 표현의 강건성과 정보성 향상을 도모한다.

실험 결과

연구 질문

• RQ1 다수의 문장에서 유도된 순차적 텍스트 표현이 단어 집합 모델 대비 지식 그래프 임베딩 품질을 향상시키는가?
• RQ2 주의 메커니즘이 엔티티 표현에 가장 정보가 풍부한 문장을 효과적으로 식별하고 우선순위를 정하는가?
• RQ3 텍스트와 지식 그래프의 공동 학습이 링크 예측 및 삼중항 분류 작업에서 더 나은 성능을 내는가?
• RQ4 다른 문장 인코더(RNN 대비 LSTM)와 주의 통합 방식이 모델 성능에 어떤 영향을 미치는가?
• RQ5 주의 메커니즘을 정의 추출의 대체 수단으로 사용할 수 있는가? 즉, 엔티티 정의로 기능하는 문장을 식별할 수 있는가?

주요 결과

• STKRL(LSTM+ATT)는 필터링 기준 벤치마크에서 링크 예측에서 평균 순위(Mean Rank) 182, Hits@10 81.2로 최고 성능을 기록했다.
• 모델은 왕의 방법(원시: Hits@10 50.9%, 필터링: 78.2%)과 TransE(원시: Hits@10 46.5%)를 크게 능가하여 순서 모델링과 주의 메커니즘의 효과를 입증했다.
• STKRL(RNN+P+ATT)는 필터링 기준으로 Hits@10 52.2%를 기록하여 풀링과 주의 메커니즘이 함께 작용할 때 표현 품질 향상이 이루어짐을 보여주었다.
• 주의 메커니즘이 정의 유사 문장을 높은 순위로 랭킹하는 데 성공했으며, 상위 랭킹 문장 중 61%가 수동으로 확인된 엔티티 정의로 확인되었다.
• 성능 향상은 N-to-N 관계에서 가장 두드러지게 나타나, 복잡하고 모호한 관계를 모델링하는 데 텍스트 맥락이 핵심임을 시사한다.
• 사례 연구를 통해 주의 메커니즘이 관련 없는 문장을 걸러내고 의미적으로 풍부한 정보성 있는 콘텐츠를 엔티티 표현에 우선순위를 두는 것으로 확인되었다.