[논문 리뷰] Efficient long-distance relation extraction with DG-SpanBERT

Jun Chen, Robert Hoehndorf외 2명|arXiv (Cornell University)|2020. 04. 07.

Topic Modeling참고 문헌 23인용 수 9

한 줄 요약

이 논문은 관계 추출을 위한 새로운 모델인 DG-SpanBERT를 제안한다. 이 모델은 SpanBERT의 컨텍스트 기반 임베딩과 의존성 트리 위에서 작동하는 그래프 컬러션 네트워크(GCN)를 결합하여 장거리 문법적 종속성을 포착한다. SpanBERT의 스파닝 레벨 사전 훈련과 의존성 구조 상에서 GCN 기반의 특징 전파를 활용함으로써, DG-SpanBERT는 TACRED 벤치마크에서 71.5%의 최고 수준의 F1 스코어를 달성하며, 특히 장거리 관계에서 기존의 순차 기반 및 의존성 기반 모델들을 크게 앞서나간다.

ABSTRACT

In natural language processing, relation extraction seeks to rationally understand unstructured text. Here, we propose a novel SpanBERT-based graph convolutional network (DG-SpanBERT) that extracts semantic features from a raw sentence using the pre-trained language model SpanBERT and a graph convolutional network to pool latent features. Our DG-SpanBERT model inherits the advantage of SpanBERT on learning rich lexical features from large-scale corpus. It also has the ability to capture long-range relations between entities due to the usage of GCN on dependency tree. The experimental results show that our model outperforms other existing dependency-based and sequence-based models and achieves a state-of-the-art performance on the TACRED dataset.

연구 동기 및 목표

• 관계 추출에서 원거리 엔티티 간의 장거리 문법적 종속성을 포착하는 데에 BERT 기반 모델의 한계를 해결하기 위해.
• 사전 훈련된 언어 모델에 의존성 트리의 구조적 정보를 통합하여 관계 추출 성능을 향상시키기 위해.
• 더 나은 엔티티 및 관계 모델링을 위해 SpanBERT의 뛰어난 스팬 수준 표현 학습 능력을 활용하기 위해.
• 컨텍스트 임베딩과 기반 그래프 메시지 전파를 통합한 통합 아키텍처를 개발하여 더 나은 특징 집합을 이루기 위해.
• 특히 장거리 관계 인스턴스에서 TACRED 데이터셋에서 최고 수준의 성능을 달성하기 위해.

제안 방법

• 모델은 입력 문장에서 컨텍스트 기반 토큰 표현을 생성하기 위해 SpanBERT를 사용하며, 개선된 의미 이해를 위해 스팬 마스킹과 스팬 경계 목표를 활용한다.
• 입력 문장에서 의존성 트리가 구성되며, 이 트리의 인접 행렬이 GCN의 입력으로 사용되어 문법적 구조를 따라 특징을 전파하고 집계한다.
• GCN는 SpanBERT의 히든 상태를 기반으로 의존성 트리를 처리하여, 문법적 경로를 따라 메시지 전파를 수행함으로써 표현을 정밀하게 조정한다.
• 문장 수준, 주어 엔티티, 목적어 엔티티의 표현은 GCN 처리된 특징에 대해 최대 풀링을 통해 확보된다.
• 최종 표현은 원본 SpanBERT 문장 임베딩과 GCN 향상된 특징 표현을 연결하고, 피드포워드 네트워크를 통해 결합된다.
• 최종 분류기는 소프트맥스 출력을 통해 예측된 관계 레이블을 제공하며, 교차 엔트로피 손실을 사용해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 SpanBERT와 그래프 컬러션 네트워크(GCN)를 결합하면 장거리 종속성에서 관계 추출 성능을 향상시킬 수 있는가?
• RQ2 DG-SpanBERT는 다양한 엔티티 거리에서 순차 기반 및 의존성 기반 모델과 비교해 문법적 관계를 얼마나 잘 포착하는가?
• RQ3 SpanBERT의 스팬 수준 사전 훈련과 의존성 트리 구조의 통합은 표준 BERT나 단독 SpanBERT보다 더 높은 성능을 낼 수 있는가?
• RQ4 특히 주어와 목적어가 11개 이상의 토큰 떨어져 있을 경우, 모델이 베이스라인 모델보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 의존성 트리 상에서 GCN 기반의 메시지 전파가 관계 분류를 위한 의미적 특징 학습을 효과적으로 향상시킬 수 있는가?

주요 결과

• DG-SpanBERT는 TACRED 데이터셋에서 최고 수준의 F1 스코어 71.5%를 달성하며, 비교된 모든 순차 기반 및 의존성 기반 모델을 앞서나간다.
• 장거리 관계(≥11 토큰 떨어져 있음)에서 DG-SpanBERT는 평균 F1 스코어 58.7을 기록하며, 이는 다음으로 좋은 모델인 AGGCN(50.4)보다 8.3점 높은 성능이다.
• 거리가 ≥8 토큰인 관계에서 DG-SpanBERT는 모든 베이스라인 모델보다 뚜렷한 성능 향상을 보이며, 장거리 종속성을 포착하는 데서의 효과성을 확인한다.
• 기본 스팬 BERT 및 SpanBERT 모델과 비교했을 때 DG-SpanBERT는 F1 스코어를 최소 2.1점 향상시키며, GCN 통합의 유용성을 입증한다.
• Google BERT(large)보다 0.9 F1 점수 높고, SpanBERT(large)보다 0.7 F1 점수 높은 성능를 기록하며, 일반적 및 장거리 관계 추출 모두에서의 열세를 확인한다.
• 제거 실험 결과, GCN를 통한 의존성 트리 구조 통합이 장거리 관계 성능 향상에 필수적임을 확인한다.