[논문 리뷰] Matching Long Text Documents via Graph Convolutional Networks

Bang Liu, Ting Zhang외 4명|arXiv (Cornell University)|2018. 02. 21.

Topic Modeling참고 문헌 21인용 수 24

한 줄 요약

이 논문은 개념 간 의미적 상호작용을 모델링하기 위해 개념 상호작용 그래프를 사용하는 그래프 컨volution 네트워크 기반 접근법을 제안한다. 시AMESE GCN 아키텍처는 그래프 컨볼루션을 통해 문서 표현을 학습하며, 두 개의 텐센트가 구축한 뉴스 기사 데이터셋에서 이벤트 정렬 작업에서 최신 기술을 크게 능가한다.

ABSTRACT

Identifying the relationship between two text objects is a core research problem underlying many natural language processing tasks. A wide range of deep learning schemes have been proposed for text matching, mainly focusing on sentence matching, question answering or query document matching. We point out that existing approaches do not perform well at matching long documents, which is critical, for example, to AI-based news article understanding and event or story formation. The reason is that these methods either omit or fail to fully utilize complicated semantic structures in long documents. In this paper, we propose a graph approach to text matching, especially targeting long document matching, such as identifying whether two news articles report the same event in the real world, possibly with different narratives. We propose the Concept Interaction Graph to yield a graph representation for a document, with vertices representing different concepts, each being one or a group of coherent keywords in the document, and with edges representing the interactions between different concepts, connected by sentences in the document. Based on the graph representation of document pairs, we further propose a Siamese Encoded Graph Convolutional Network that learns vertex representations through a Siamese neural network and aggregates the vertex features though Graph Convolutional Networks to generate the matching result. Extensive evaluation of the proposed approach based on two labeled news article datasets created at Tencent for its intelligent news products show that the proposed graph approach to long document matching significantly outperforms a wide range of state-of-the-art methods.

연구 동기 및 목표

• 서로 다른 서사로 같은 실제 사건을 보도하는 장문의 뉴스 기사 간 매칭 문제를 해결한다.
• 장문의 문서에서 복잡한 의미적 구조를 포착하지 못하는 기존 딥러닝 방법의 한계를 극복한다.
• 장문의 텍스트 내 문장 간 핵심 개념 간의 상호작용을 모델링하는 그래프 기반 표현을 개발한다.
• 매칭을 위해 문서 수준의 표현을 효과적으로 학습하고 비교하기 위한 시AMESE GCN 프레임워크를 설계한다.
• 최신 기술 대비 장문의 문서 매칭 작업에서 뛰어난 성능을 보여준다.

제안 방법

• 정합된 키워드 그룹(개념)을 정점으로, 공유 문장을 통해 개념 간 의미적 상호작용을 표현하는 엣지를 가진 개념 상호작용 그래프를 구축한다.
• 쌍으로 제공된 문서를 공유된 임베딩 공간에 인코딩하여 비교하기 위해 시AMESE 신경망 아키텍처를 사용한다.
• 그래프 구조를 따라 메시지 전파를 통해 정점 특징을 집계하고 업데이트하기 위해 그래프 컨볼루션 네트워크(GCNs)를 적용한다.
• 학습된 그래프 표현을 활용해 문서 쌍 간의 최종 매칭 점수를 산출한다.
• 이벤트 동일성에 대해 주석이 달린 뉴스 기사 쌍을 사용해 엔드 투 엔드 모델을 훈련시킨다.
• 그래프 엣지 구축을 통해 주의 메커니즘을 암묵적으로 활용하여 중요한 개념 상호작용을 강조한다.

실험 결과

연구 질문

• RQ1 기반 그래프 표현은 장문의 문서에서 복잡한 의미적 구조를 매칭 작업에 효과적으로 모델링할 수 있는가?
• RQ2 기존의 순차 기반 또는 주의 기반 모델과 비교해 제안된 개념 상호작용 그래프가 장거리 의존성을 얼마나 잘 포착하는가?
• RQ3 비그래프 기반 모델 대비 시AMESE GCN 아키텍처가 장문의 문서 쌍에서 매칭 성능을 얼마나 향상시키는가?
• RQ4 서사가 다르지만 사건은 동일한 실세계 뉴스 기사 매칭에 그래프 기반 접근법이 잘 일반화되는가?
• RQ5 그래프 컨볼루션은 매칭을 위한 강력한 문서 수준 표현을 학습하는 데 기여하는가?

주요 결과

• 제안된 그래프 기반 방법은 텐센트에서 구축한 두 개의 대규모 실세계 뉴스 기사 데이터셋에서 다양한 최신 기술 모델을 크게 능가한다.
• 서사가 다르지만 동일한 기반 사건을 보도하는 장문의 뉴스 기사 간 매칭을 정확하게 식별하는 데 뛰어난 성능을 보였다.
• 개념 상호작용 그래프의 사용은 기존의 순차적 또는 주의 기반 모델보다 장문의 문서에서 의미적 상호작용을 더 잘 모델링할 수 있었다.
• 시AMESE GCN 아키텍처는 매칭 정확도를 향상시키는 데 효과적인 분류 가능한 표현을 효과적으로 학습했다.
• 광범위한 추상화 연구를 통해 그래프 구조와 GCN 집계의 중요성이 높은 성능 달성에 기여하는 것으로 확인되었다.
• 실세계 뉴스 데이터에서 강력한 일반화 성능을 보여주어 AI 기반 뉴스 이해 시스템에 실용적인 관련성을 입증했다.