[논문 리뷰] MrGCN: Mirror Graph Convolution Network for Relation Extraction with Long-Term Dependencies.

Xiao Guo, I-Hung Hsu외 3명|arXiv (Cornell University)|2021. 01. 01.

Topic Modeling참고 문헌 31인용 수 9

한 줄 요약

MrGCN는 거대 텍스트 내 관계 추출을 향상시키기 위해 수신 필드를 확장하면서도 토큰 수준의 예측을 유지하기 위해 풀링-언풀링 아키텍처를 갖춘 미러 그래프 컨볼루션 네트워크를 제안한다. 이를 통해 문장 간 장기 의존성 모델링에 특화된 새로운 풀링 방법인 Clause Matching을 도입하여, 논의 수준의 관계 추출 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The ability to capture complex linguistic structures and long-term dependencies among words in the passage is essential for relation extraction (RE) tasks. Graph neural networks (GNNs), one of the means to encode dependency graphs, have been shown to be effective in prior works. However, relatively little attention has been paid to receptive fields of GNNs, which can be crucial for tasks with extremely long text that requires discourse understanding. In this work, we leverage the idea of graph pooling and propose the Mirror Graph Convolution Network, a GNN model with a pooling-unpooling structure tailored to RE tasks. The pooling branch reduces the graph size and enables the GNN to obtain larger receptive fields within fewer layers; the unpooling branch restores the pooled graph to its original resolution for token-level RE tasks. Experiments on two discourse-level relation extraction datasets demonstrate the effectiveness of our method, showing significant improvements over prior methods especially when modeling long-term dependencies is necessary. Moreover, we propose Clause Matching (CM), a novel graph pooling method that merges nodes based on dependency relations in graph. CM can largely reduce the graph size while retaining the main semantics of the input text.

연구 동기 및 목표

• 그래프 신경망을 사용한 논의 수준의 관계 추출에서 장기 의존성을 모델링하는 데 도전 과제를 해결하기 위해.
• 모델의 깊이나 계산 비용을 증가시키지 않고도 GNN의 수신 필드 커버리지 개선을 위해.
• 그래프 압축 이후에도 세밀한 토큰 수준의 표현을 유지하여 정확한 관계 예측을 위해.
• 구문적 의존 관계를 활용하여 의미적 통합성을 유지하는 새로운 그래프 풀링 전략 개발을 위해.

제안 방법

• MrGCN는 풀링-언풀링 구조를 활용한다: 풀링 브랜치는 그래프 크기를 줄여 수신 필드를 확장하고, 언풀링 브랜치는 그래프를 원래 해상도로 복원하여 토큰 수준의 예측을 수행한다.
• Clause Matching (CM)은 의존 관계를 기반으로 노드를 병합하는 그래프 풀링 방법으로, 그래프 크기를 줄이면서도 핵심 의미적 구조를 유지한다.
• 풀링 브랜치는 CM을 사용해 의존 관계 그래프를 압축하여, 더 적은 레이어로도 깊은 맥락 이해를 가능하게 한다.
• 언풀링 브랜치는 학습된 어텐션 또는 어텐션 유사 메커니즘을 사용해 그래프를 원래 노드 수로 복원하여 국소 표현을 복구한다.
• 모델는 전체 그래프를 통한 메시지 전달과 언풀링을 통합하여 노드 임베딩을 개선하고 관계 분류를 위한 정밀도를 높인다.
• 아키텍처는 관계 예측을 위한 교차 엔트로피 손실을 사용해 논의 수준의 관계 추출 데이터셋에서 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 GNN에서 풀링-언풀링 메커니즘이 모델 깊이를 늘리지 않고도 장문 텍스트 관계 추출을 위한 수신 필드를 효과적으로 확장할 수 있는가?
• RQ2 Clause Matching 풀링은 기존의 표준 풀링 방법에 비해 그래프 압축 과정에서 의미적 내용을 얼마나 잘 유지하는가?
• RQ3 기존의 GNN 기반 모델에 비해 MrGCN는 장문 맥락 관계 추출 작업에서 성능을 얼마나 향상시키는가?
• RQ4 미러 아키텍처는 세밀한 관계 분류에 필수적인 고품질의 토큰 수준 표현을 유지하는가?

주요 결과

• MrGCN는 장기 의존성 모델링이 필요한 상황에서 두 개의 논의 수준 관계 추출 데이터셋에서 뚜렷한 성능 향상을 보였다.
• 제안된 Clause Matching 풀링 방법은 그래프 크기를 크게 줄이면서도 입력 텍스트의 주요 의미적 구조를 유지한다.
• 풀링-언풀링 메커니즘은 더 적은 레이어로도 더 큰 효과적 수신 필드를 가능하게 하여 맥락 모델링의 효율성을 향상시킨다.
• MrGCN는 기존의 GNN 기반 모델에 비해 장문 텍스트 RE 벤치마크에서 뛰어난 일반화 능력을 보이며 성능을 우월하게 끌어올렸다.