[논문 리뷰] Neural Graph Embedding Methods for Natural Language Processing

Shikhar Vashishth|arXiv (Cornell University)|2019. 11. 08.

Topic Modeling참고 문헌 177인용 수 11

한 줄 요약

이 논문은 지식 그래프의 희소성 문제를 해결하고 자연어 처리(NLP) 작업을 향상시키기 위해 새로운 신경 그래프 임베딩 방법을 제안한다. 엔티티와 관계 어휘 임베딩에 부가 정보를 활용하여 지식 그래프의 표준화를 수행하는 CESI, 지식 그래프 부가 정보를 활용한 원거리 감독 관계 추출을 위한 RESIDE, 문맥적 및 시간적 GCN을 사용하는 문서 타임스탬프 예측을 위한 NeuralDater, 의존성 기반 단어 임베딩을 위한 SynGCN, 신뢰도 인식 주변 노드 집합 방법을 위한 ConfGCN, 그리고 다중관계 그래프 학습을 위한 파라미터 효율적인 CompGCN을 제안하며, 다양한 벤치마크에서 최고 성능을 달성한다.

ABSTRACT

Knowledge graphs are structured representations of facts in a graph, where nodes represent entities and edges represent relationships between them. Recent research has resulted in the development of several large KGs. However, all of them tend to be sparse with very few facts per entity. In the first part of the thesis, we propose two solutions to alleviate this problem: (1) KG Canonicalization, i.e., identifying and merging duplicate entities in a KG, (2) Relation Extraction which involves automating the process of extracting semantic relationships between entities from unstructured text. Traditional Neural Networks like CNNs and RNNs are constrained to handle Euclidean data. However, graphs in Natural Language Processing (NLP) are prominent. Recently, Graph Convolutional Networks (GCNs) have been proposed to address this shortcoming and have been successfully applied for several problems. In the second part of the thesis, we utilize GCNs for Document Timestamping problem and for learning word embeddings using dependency context of a word instead of sequential context. In this third part of the thesis, we address two limitations of existing GCN models, i.e., (1) The standard neighborhood aggregation scheme puts no constraints on the number of nodes that can influence the representation of a target node. This leads to a noisy representation of hub-nodes which coves almost the entire graph in a few hops. (2) Most of the existing GCN models are limited to handle undirected graphs. However, a more general and pervasive class of graphs are relational graphs where each edge has a label and direction associated with it. Existing approaches to handle such graphs suffer from over-parameterization and are restricted to learning representation of nodes only.

연구 동기 및 목표

• 오픈 지식 그래프(KG)에서 엔티티가 관련 관계를 거의 가지지 않는 희소성 문제를 해결한다 (예: NELL에서 엔티티당 평균 1.34개의 사실).
• 중복 엔티티의 표준화와 비구조적 텍스트에서의 관계 추출을 통해 지식 그래프의 품질을 향상시킨다.
• 그래프 컨volution 네트워크(GCNs)를 활용해 자연어 처리 작업(예: 문서 타임스탬프 예측, 단어 표현 학습)에서 복잡한 구조를 모델링한다.
• 기존 GCN 모델의 핵심 한계를 극복한다: 핵심 노드(Hub nodes)의 영향력이 무한히 확장되는 문제와 다중관계(방향성, 레이블이 있는) 그래프를 효과적으로 다룰 수 없는 문제.

제안 방법

• CESI(임베딩과 부가 정보를 활용한 표준화)를 제안한다. 이는 명사어구와 관계 어휘를 함께 임베딩하면서도 부가 정보(예: 엔티티 유형, 별칭 등)를 통합하여 오픈 지식 그래프에서 중복 엔티티를 군집화하고 표준화하는 공동 학습 프레임워크이다.
• RESIDE를 도입한다. 이는 GCN을 사용해 문법적 구조를 인코딩하고, 부가 정보(예: 엔티티 유형, 관계 별칭 등)를 통합하여 관계 예측의 강건성을 향상시키는 원거리 감독 신경 관계 추출 모델이다.
• NeuralDater를 개발한다. 이는 문서 내에서 문법적 및 시간적 의존성 구조를 함께 인코딩하여 GCN 기반으로 문서 타임스탬프를 예측하는 모델로, 최고 성능을 기록한다.
• SynGCN을 제안한다. 이는 선형적 문맥 대신 의존성 트리 구조를 사용하여 단어 임베딩을 학습하는 그래프 컨볼루션 기반 방법으로, 의미적 표현을 향상시키고 어휘 폭발 문제를 방지한다.
• ConfGCN을 도입한다. 이는 노드 레이블의 신뢰도 점수를 추정하고 이를 사용해 이웃 노드 기여도를 동적으로 가중함으로써, 핵심 노드에서 유래하는 노이즈를 줄여 GCN 집합의 강건성을 향상시킨다.
• CompGCN을 제안한다. 이는 지식 그래프 임베딩 방법에서 유래한 조합 연산자를 사용해 엔티티와 관계를 함께 임베딩하는 다중관계 GCN 프레임워크로, 공유된 관계 임베딩과 기저 분해를 통해 과도한 파라미터화를 줄인다.

실험 결과

연구 질문

• RQ1 신경 그래프 임베딩을 어떻게 활용하여 엔티티 표준화와 관계 추출을 통해 오픈 지식 그래프의 희소성을 줄일 수 있는가?
• RQ2 GCN이 문서 내에서 문법적 및 시간적 그래프 구조를 효과적으로 모델링하여 문서 타임스탬프 예측 성능을 향상시킬 수 있는가?
• RQ3 의존성 기반 그래프 컨볼루션 네트워크는 선형적 문맥 기반 단어 임베딩보다 더 풍부한 문법적 의미를 포괄할 수 있는가?
• RQ4 신뢰도 추정을 통합함으로써 GCN 집합의 핵심 노드 영향력에 대한 강건성을 어떻게 향상시킬 수 있는가?
• RQ5 통합적이고 파라미터 효율적인 프레임워크를 설계하여 다중관계 그래프에서 엔티티와 관계를 동시에 임베딩할 수 있는가?

주요 결과

• CESI는 부가 정보를 함께 학습함으로써 벤치마크 데이터셋에서 엔티티 표준화 정확도를 크게 향상시켜 기존 기준 모델을 초월한다.
• RESIDE는 조건이 제한된 감독 하에서도 엔티티 유형과 관계 별칭과 같은 부가 정보를 효과적으로 활용하여 원거리 감독 관계 추출에서 최고 성능을 달성한다.
• NeuralDater는 GCN를 사용해 문법적 및 시간적 그래프 구조를 함께 모델링함으로써 문서 타임스탬프 예측 벤치마크에서 새로운 최고 기록을 수립한다.
• SynGCN는 선형적 문맥 대신 의존성 트리 구조를 기반으로 학습함으로써 내재적 및 외재적 NLP 작업에서 기존 단어 임베딩 방법을 능가한다.
• ConfGCN는 추정된 신뢰도 점수를 사용해 이웃 기여도를 동적으로 가중함으로써 핵심 노드에서 기인하는 노이즈 표현을 줄여 노드 분류 작업에서 일반화 성능을 향상시킨다.
• CompGCN는 공유된 관계 임베딩과 기저 분해 덕분에 기존 방법보다 더 적은 파라미터로 다중관계 그래프 학습 작업에서 뛰어난 성능을 달성한다.