[논문 리뷰] Siamese Graph Neural Networks for Data Integration

Evgeny Krivosheev, Mattia Atzeni외 3명|arXiv (Cornell University)|2020. 01. 17.

Topic Modeling참고 문헌 52인용 수 8

한 줄 요약

이 논문은 구조화된 데이터와 비구조화된 데이터를 그래프로 모델링하여 확장성 있고 맥락 인식이 가능한 엔티티 매칭을 가능하게 함으로써 데이터 통합을 향상시키기 위해 시아미즈 그래프 컨volution 네트워크(S-GCNs)를 제안한다. 연결된 엔티티 간에 정보를 전파하기 위해 그래프 신경망을 활용함으로써, 규칙 기반 및 비그래프 기반 딥 러닝 방법에 비해 비즈니스 엔티티 연결 작업에서 뛰어난 성능을 달성한다.

ABSTRACT

Data integration has been studied extensively for decades and approached from different angles. However, this domain still remains largely rule-driven and lacks universal automation. Recent development in machine learning and in particular deep learning has opened the way to more general and more efficient solutions to data integration problems. In this work, we propose a general approach to modeling and integrating entities from structured data, such as relational databases, as well as unstructured sources, such as free text from news articles. Our approach is designed to explicitly model and leverage relations between entities, thereby using all available information and preserving as much context as possible. This is achieved by combining siamese and graph neural networks to propagate information between connected entities and support high scalability. We evaluate our method on the task of integrating data about business entities, and we demonstrate that it outperforms standard rule-based systems, as well as other deep learning approaches that do not use graph-based representations.

연구 동기 및 목표

• 구조화된 데이터와 비구조화된 데이터를 포함한 데이터 통합 작업에서 규칙 기반 및 비그래프 기반 딥 러닝 방법의 한계를 해결하기 위해 그래프 기반 표현을 활용한다.
• 지식 그래프를 사용하여 구조화된 데이터베이스와 비구조화된 텍스트 자료 간의 엔티티 간 관계를 모델링한다.
• 맥락 정보를 유지하면서 엔티티 매칭 과정에서 작동하는 확장성 있고 종단 간(end-to-end) 학습 프레임워크를 개발한다.
• 최소한의 감독 하에 그래프 신경망을 사용하여 분류 가능한 노드 임베딩을 학습함으로써 수동 레이블링에 대한 의존도를 줄인다.
• 실제 데이터베이스와 뉴스 기사가 포함된 대규모 비즈니스 엔티티 연결 작업에서 S-GCN의 효과성을 평가한다.

제안 방법

• 이 방법은 구조화된 데이터(예: 기업 지분, 자회사)와 비구조화된 텍스트(예: 뉴스 기사)로부터 지식 그래프를 구축하며, 엔티티와 그 관계를 노드와 간선으로 표현한다.
• 같은 엔티티 쌍 간의 거리가 최소화되고 관련 없는 쌍 간의 거리가 최대화되도록, 노드 임베딩 간의 거리 함수를 학습하기 위해 시아미즈 그래프 컨volution 네트워크(S-GCNs)를 활용한다.
• 그래프 신경망은 연결된 노드 간에 정보를 전파함으로써 구조적 및 속성 기반 관계를 포괄하는 맥락 기반 표현 학습을 가능하게 한다.
• 노드 특징은 엔티티 속성과 맥락 기반 메타데이터를 포함하며, 그래프 구조는 엔티티 간의 관계적 및 계층적 연결을 인코딩한다.
• 일치하는 엔티티 간의 임베딩 공간에서 유사성을 최적화하고, 일치하지 않는 쌍 간의 유사성을 최소화하기 위해 대비 손실(contrastive loss)을 사용하여 모델을 훈련한다.
• 합성 앨리어스 생성을 통한 데이터 증강은 이웃 정보를 풍부하게 함으로써, 특히 저도수 노드에서 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 구조화된 데이터와 비구조화된 데이터를 포함한 데이터 통합 작업에서 그래프 기반 표현이 엔티티 매칭 성능을 향상시키는가?
• RQ2 시아미즈 네트워크와 그래프 신경망의 조합이 최소한의 레이블 데이터로 분류 가능한 엔티티 임베딩을 학습하는 데 얼마나 효과적인가?
• RQ3 그래프 구조와 관계적 맥락을 유지함으로써 기존 규칙 기반 또는 비그래프 기반 딥 러닝 방법에 비해 레코드 연결 정확도가 얼마나 향상되는가?
• RQ4 연결이 적거나 속성이 제한된 엔티티에 대해 모델의 일반화 능력은 어떠한가?
• RQ5 합성 앨리어스를 통한 데이터 증강이 모델 성능과 강건성에 어떤 영향을 미치는가?

주요 결과

• 제안된 S-GCN 방법은 비즈니스 엔티티 연결 작업에서 표준 규칙 기반 시스템과 비그래프 기반 딥 러닝 방법보다 뛰어난 성능을 보였다.
• 그래프 기반 모델링은 연결된 엔티티 간 정보 전파를 효과적으로 가능하게 하여 더 분류 가능한 노드 임베딩을 생성한다.
• 모델은 높은 확장성과 강건성을 보였으며, 특히 그래프 내의 관계적 맥락과 구조적 정보 덕분에 유의미한 성능 향상을 이뤘다.
• 합성 앨리어스를 통한 데이터 증강은 연결 수가 적거나 도수(도수)가 낮은 노드에서 성능 향상에 크게 기여했다.
• 이 방법은 최소한의 레이블 데이터를 요구하며, 그래프 구조에서 유도되는 효과적인 인덕티브 바이어스 덕분에 거의 제로 레이블링 비용으로도 뛰어난 일반화 성능를 보였다.
• 데이터베이스나 외부 자료에서 유도된 지식 그래프의 사용은 수동 특징 공학 없이도 자동적이고 확장 가능한 표현 학습을 가능하게 했다.