[논문 리뷰] Extracting Multiple-Relations in One-Pass with Pre-Trained Transformers

Haoyu Wang, Ming Tan외 6명|arXiv (Cornell University)|2019. 02. 04.

Topic Modeling참고 문헌 29인용 수 18

한 줄 요약

이 논문은 사전 훈련된 트랜스포머를 사용하여 한 번의 인코딩 단계에서 엔티티 쌍 간의 다중 관계를 동시에 예측하는 일괄 처리 관계 추출 프레임워크를 제안한다. 이는 ACE 2005 벤치마크에서 최고 성능을 달성한다. BERT에 구조적 예측 레이어와 엔티티 인식 자기주의를 통합함으로써 효율성과 확장성을 향상시키면서도 높은 정확도를 유지한다.

ABSTRACT

Most approaches to extraction multiple relations from a paragraph require multiple passes over the paragraph. In practice, multiple passes are computationally expensive and this makes difficult to scale to longer paragraphs and larger text corpora. In this work, we focus on the task of multiple relation extraction by encoding the paragraph only once (one-pass). We build our solution on the pre-trained self-attentive (Transformer) models, where we first add a structured prediction layer to handle extraction between multiple entity pairs, then enhance the paragraph embedding to capture multiple relational information associated with each entity with an entity-aware attention technique. We show that our approach is not only scalable but can also perform state-of-the-art on the standard benchmark ACE 2005.

연구 동기 및 목표

• 기존 다중관계 추출(MRE) 방법이 입력 텍스트에 대해 다중 인코딩 단계를 거치는 데서 비효율성을 해결하기 위해.
• 입력 단락을 한 번의 순방향 전파로 엔티티 쌍 간의 다중 관계를 동시에 예측할 수 있도록 하기 위해.
• 크거나 복잡한 입력 텍스트를 포함한 실세계 응용에 대해 확장성과 효율성을 향상시키기 위해.
• ACE 2005 및 SemEval 2018 Task 7와 같은 표준 MRE 벤치마크에서 최고 성능을 달성하기 위해.
• 사전 훈련된 모델인 BERT가 최소한의 아키텍처 수정으로도 엔드 투 엔드 MRE에 효과적으로 적용될 수 있음을 보여주기 위해.

제안 방법

• 모델은 BERT를 기본 인코더로 사용하며, 모든 엔티티 쌍에 대한 관계를 한 번의 순방향 전파로 예측하기 위한 구조적 예측 레이어를 통합한다.
• 모든 엔티티의 위치에 민감한 주의 헤드를 만들기 위해 엔티티 인식 자기주의를 도입한다.
• 최종 레이어에서 엔티티의 토큰 수준 BERT 임베딩을 평균 풀링하여 엔티티 표현을 확보한다.
• 관계 예측은 각 엔티티 쌍의 표현을 연결한 데에 선형 분류기를 적용하여 수행된다: $ P(r_{ij}|\mathbf{x},e_i,e_j) = \textrm{softmax}(\mathbf{W}^L[\mathbf{o}_i:\mathbf{o}_j] + \mathbf{b}) $.
• 모델은 엔드 투 엔드로 훈련되며, 비교를 위해 단일 전파 및 다중 전파 추론 설정을 모두 지원한다.
• BERT 외에도 RoBERTa와 같은 다른 트랜스포머 기반 인코더와도 호환 가능하다.

실험 결과

연구 질문

• RQ1 성능 저하 없이 한 번의 인코딩 단계로 입력 단락에서 다중 관계를 추출할 수 있는가?
• RQ2 표준 BERT 주의와 비교했을 때 엔티티 인식 자기주의는 관계 추출 정확도를 어떻게 향상시키는가?
• RQ3 강력한 사전 훈련된 임베딩인 BERT를 사용할 경우, 단순한 선형 분류기로도 MRE에 충분한가?
• RQ4 속도와 정확도 측면에서 일괄 처리 MRE는 다중 전파 SRE 기반 방법과 어떻게 비교되는가?
• RQ5 제안된 방법은 광범위한 미세 조정이나 데이터 증강 없이도 SemEval 2018 Task 7와 같은 다른 벤치마크로 일반화 가능한가?

주요 결과

• 제안된 일괄 처리 모델은 ACE 2005 벤치마크에서 기존 방법을 능가하는 새로운 최고 성능인 F1 스코어 63.14를 달성한다.
• 추론 중 모델은 1초당 126개의 관계를 처리하며, 다음으로 빠른 방법(1초당 23개)보다 5.5배 빠르다.
• 다중 전파 SRE 기반 모델 대비 훈련 시간이 3.5배 감소한다.
• SemEval 2018 Task 7에서 모델은 매크로-F1 81.4와 마이크로-F1 83.1을 기록했으며, 최고의 공유 작업 시스템과 동일한 성능을 내면서도 단일 모델로 구현되었다.
• 선형 분류기 사용이 MLP 및 Biaffine 레이어를 초월하여 성능을 높였으며, 이는 BERT의 표현력이 이미 매우 뛰어나다는 것을 시사한다.
• 엔티티 인식 주의를 추가함으로써 SemEval 2010 Task 8 벤치마크에서 성능이 8% 향상되었으며, 이는 단일 관계 설정에서도 효과적임을 입증한다.