[논문 리뷰] Discourse-level Relation Extraction via Graph Pooling

I-Hung Hsu, Xiao Guo외 2명|arXiv (Cornell University)|2021. 01. 01.

Topic Modeling참고 문헌 45인용 수 6

한 줄 요약

이 논문은 장거리 의존성에 대한 수용 영역을 확장함으로써 논의 수준의 관계 추출을 향상시키기 위해 풀링-언풀링 그래프 신경망 프레임워크를 제안한다. 문맥적으로 정보가 풍부한 그래프 풀링 방법인 문장 매칭(Clause Matching)을 도입함으로써 엔티티 표현 학습이 향상되었으며, CDR 및 크로스-문장 n-항 DRE 데이터셋에서 최신 기술 수준의 성능을 달성하였다.

ABSTRACT

The ability to capture complex linguistic structures and long-term dependencies among words in the passage is essential for discourse-level relation extraction (DRE) tasks. Graph neural networks (GNNs), one of the methods to encode dependency graphs, have been shown effective in prior works for DRE. However, relatively little attention has been paid to receptive fields of GNNs, which can be crucial for cases with extremely long text that requires discourse understanding. In this work, we leverage the idea of graph pooling and propose to use pooling-unpooling framework on DRE tasks. The pooling branch reduces the graph size and enables the GNNs to obtain larger receptive fields within fewer layers; the unpooling branch restores the pooled graph to its original resolution so that representations for entity mention can be extracted. We propose Clause Matching (CM), a novel linguistically inspired graph pooling method for NLP tasks. Experiments on two DRE datasets demonstrate that our models significantly improve over baselines when modeling long-term dependencies is required, which shows the effectiveness of the pooling-unpooling framework and our CM pooling method.

연구 동기 및 목표

• 다수의 문장에 걸쳐 분포하는 관계를 다루는 논의 수준의 관계 추출(DRE)에서 장기 의존성을 포착하는 데 도전하는 것.
• 긴 입력 시퀀스에서 표준 그래프 신경망(GNN)의 제한된 수용 영역을 극복하기 위해 먼 토큰 간의 정보 집합을 향상시키는 것.
• 계층적 그래프 압축을 통해 더 큰 효과적 수용 영역을 가능하게 하면서도 구조적 정보를 유지하는 풀링-언풀링 프레임워크를 설계하는 것.
• 의존성 간선 유형을 활용해 노드 병합을 이끄는 NLP에 특화된 새로운 그래프 풀링 전략인 문장 매칭(CM)을 도입하여 풀링 중 언어학적 일관성을 향상시키는 것.
• 장문의 맥락 설정에서 두 개의 벤치마크 DRE 데이터셋에 걸쳐 제안된 프레임워크의 유효성을 입증하는 것.

제안 방법

• 노드가 토큰을, 간선이 문법적 의존성을 나타내는 문서 수준의 그래프에 풀링-언풀링 프레임워크를 적용한다.
• 각 계층 수준에서 노드 표현을 업데이트하기 위해 그래프 컬러네이션 네트워크(GCNs)를 GNN의 백본으로 사용한다.
• 구조적으로 유사하거나 언어학적으로 관련된 노드를 슈퍼노드로 병합하여 더 희소한 하이퍼그래프를 형성함으로써 더 큰 수용 영역을 확보한다.
• 노드 병합 시 의존성 간선 유형(예: 'nmod')을 우선순위로 삼는 문장 매칭(CM) 풀링을 설계하여 풀링 중 의미적 일관성을 향상시킨다.
• 원래 그래프 해상도를 복원하기 위해 언풀링 레이어를 사용하여 개선된 맥락 기반 특징에서 엔티티 언급 표현을 추출할 수 있도록 한다.
• 관계 분류의 교차 엔트로피 손실을 사용하여 엔드 투 엔드 모델을 훈련시키며, 풀링 및 언풀링은 학습 가능한 매칭 행렬에 의해 지도된다.

실험 결과

연구 질문

• RQ1 풀링-언풀링 프레임워크는 논의 수준의 관계 추출에서 GNN이 장거리 의존성을 포착하는 데에 효과적인가?
• RQ2 언어학적으로 유도된 그래프 풀링 방법인 문장 매칭(CM)은 일반 목적의 풀링 전략인 하이브리드 매칭(HM)과 비교해 DRE 작업에서 어떻게 성능을 내는가?
• RQ3 그래프 풀링은 장문의 맥락 문서에서 정보 손실나 과도한 스무딩 없이 수용 영역 크기를 얼마나 크게 향상시키는가?
• RQ4 제안된 프레임워크는 다양한 논의 복잡도를 가진 다른 DRE 데이터셋에 일반화되는가?
• RQ5 풀링-언풀링 메커니즘은 깊은 GNN 아키텍처의 필요성을 줄일 수 있는가, 동시에 장문 맥락 관계 추출에서 성능을 유지하거나 향상시킬 수 있는가?

주요 결과

• 제안된 풀링-언풀링 프레임워크에 문장 매칭(CM)을 적용한 결과, CDR 개발 세트에서 F1 스코어 69.5%를 기록하여 베이스라인 GCN(68.4%) 및 기타 풀링 변종을 능가하였다.
• 문장 매칭(CM)은 일반 풀링 방법인 하이브리드 매칭(HM)보다 일관되게 성능을 향상시켰으며, CM은 F1 69.5%를 기록한 반면 HM은 69.2%, 무작위 풀링은 68.6%를 기록하였다.
• 강한 풀링 전략(예: 강한 CM 및 HM)은 혼합된 결과를 보였으며, 강한 CM은 성능 저하(68.9% F1)를 보이며 과도한 병합이 정보 손실을 초래할 수 있음을 시사하였다.
• 이 프레임워크는 장문 맥락 DRE 작업에서 성능을 크게 향상시켜 다수의 문장에 걸친 논의 수준의 관계를 모델링하는 데의 효과성을 입증하였다.
• 제거 분석 결과 그래프 풀링이 수용 영역을 확장하고 깊은 GNN 스택의 필요성을 줄임을 확인하였으며, 더 적은 레이어로도 더 좋은 성능을 달성하였다.
• 결과적으로 의존성 간선 유형과 같은 언어학적 구조를 풀링 메커니즘에 통합함으로써 더 의미 있고 효과적인 그래프 압축이 가능하다는 것이 검증되었다.