[논문 리뷰] BERT-GT: Cross-sentence n-ary relation extraction with BERT and Graph Transformer

Po‐Ting Lai, Zhiyong Lu|arXiv (Cornell University)|2021. 01. 11.

Topic Modeling참고 문헌 14인용 수 7

한 줄 요약

이 논문은 생물의학 텍스트에서 교차 문장 n-항 관계 추출을 향상시키기 위해 이웃 주의 메커니즘을 BERT에 통합한 새로운 아키텍처인 BERT-GT를 제안한다. 이론적 주의를 오직 이웃하는 토큰들에 국한시킴으로써 장문의 문맥에서 노이즈를 줄이며, n-항 및 화학-단백질 관계 데이터셋에서 최신 기술보다 정확도가 5.44% 높고 F1 스코어가 3.89% 높은 성능을 달성한다.

ABSTRACT

A biomedical relation statement is commonly expressed in multiple sentences and consists of many concepts, including gene, disease, chemical, and mutation. To automatically extract information from biomedical literature, existing biomedical text-mining approaches typically formulate the problem as a cross-sentence n-ary relation-extraction task that detects relations among n entities across multiple sentences, and use either a graph neural network (GNN) with long short-term memory (LSTM) or an attention mechanism. Recently, Transformer has been shown to outperform LSTM on many natural language processing (NLP) tasks. In this work, we propose a novel architecture that combines Bidirectional Encoder Representations from Transformers with Graph Transformer (BERT-GT), through integrating a neighbor-attention mechanism into the BERT architecture. Unlike the original Transformer architecture, which utilizes the whole sentence(s) to calculate the attention of the current token, the neighbor-attention mechanism in our method calculates its attention utilizing only its neighbor tokens. Thus, each token can pay attention to its neighbor information with little noise. We show that this is critically important when the text is very long, as in cross-sentence or abstract-level relation-extraction tasks. Our benchmarking results show improvements of 5.44% and 3.89% in accuracy and F1-measure over the state-of-the-art on n-ary and chemical-protein relation datasets, suggesting BERT-GT is a robust approach that is applicable to other biomedical relation extraction tasks or datasets.

연구 동기 및 목표

• 생물의학 문헌에서 다수의 실체를 포함하는 복잡한 교차 문장 n-항 관계를 추출하는 과제를 해결하기 위해.
• 표준 주의 메커니즘이 노이즈로 인해 악영향을 받는 장문의 다중 문장 생물의학 텍스트에서 관계 추출 성능을 향상시키기 위해.
• 이웃 주의 메커니즘을 BERT에 통합하여 노이즈가 감소한 국소화된 주의를 통해 문맥 모델링을 향상시키기 위해.
• 평가된 데이터셋을 초월하여 다양한 생물의학 관계 추출 과제에 적용 가능한 강력한 프레임워크를 개발하기 위해.
• 기존의 GNN과 LSTMs 또는 표준 주의 메커니즘을 기반으로 한 모델보다 교차 문장 관계 추출에서 승리하기 위해.

제안 방법

• 이웃 주의 메커니즘을 BERT 아키텍처에 통합하여 주의 계산을 오직 이웃하는 토큰들로 제한함으로써 장문의 시퀀스에서 노이즈를 줄이기 위해.
• BERT의 자기 주의 메커니즘을 수정하여 각 토큰이 전체 입력 시퀀스가 아닌 근접한 이웃 토큰들만 주시하도록 하기 위해.
• 생물의학 텍스트에서 다수의 문장에 걸쳐 실체 간의 관계적 구조를 모델링하기 위해 그래프 트랜스포머 구성 요소를 사용하기 위해.
• 딥 컨텍스트 표현을 유지하면서 국소화된 주의를 통해 장문의 문맥 추론을 향상시키기 위해 BERT의 깊이 있는 컨텍스트 표현을 활용하기 위해.
• 엔티티 인식 표현 학습과 그래프 기반 메시지 전파를 결합하여 문장 경계를 넘는 복잡한 n-항 관계를 포착하기 위해.
• 표준 시퀀스 레이블링 및 관계 분류 목표를 사용하여 생물의학 데이터셋에서 모델을 엔드 투 엔드로 훈련하기 위해.

실험 결과

연구 질문

• RQ1 이웃하는 토큰들에만 주의를 집중시키는 수정된 주의 메커니즘이 장문의 생물의학 텍스트에서 관계 추출을 향상시키는가?
• RQ2 BERT-GT는 교차 문장 n-항 관계 추출 과제에서 최신 기술 모델과 비교해 어떻게 성능을 내는가?
• RQ3 이웃 주의 메커니즘이 추상 수준이나 다중 문장 관계 추출에서 노이즈를 줄이고 성능을 향상시키는가?
• RQ4 BERT-GT는 화학-단백질 상호작용과 같은 다양한 생물의학 관계 유형으로 얼마나 잘 일반화되는가?
• RQ5 BERT에 그래프 트랜스포머를 통합하는 것이 문장 경계를 넘는 복잡한 다중 실체 관계를 모델링하는 데 효과적인가?

주요 결과

• BERT-GT는 n-항 관계 추출 데이터셋에서 최신 기술보다 정확도가 5.44% 절대적으로 향상되었다.
• 모델은 n-항 관계 데이터셋에서 F1 스코어를 3.89% 향상시켜 관계 추출 성능 향상이 뚜렷하게 나타났다.
• 화학-단백질 관계 데이터셋에서 BERT-GT는 이전 최신 기술 모델보다 F1 스코어가 3.89% 높았다.
• 이웃 주의 메커니즘이 장문의 입력에서 노이즈를 효과적으로 줄여 더 강력한 주의 표현을 이끌어냈다.
• BERT-GT는 LSTMs나 표준 주의 메커니즘을 사용하는 모델보다 성능이 뛰어나, 장문 텍스트 환경에서 국소화된 주의의 이점이 확인되었다.
• 모델는 높은 일반화 잠재력을 보이며 다른 생물의학 관계 추출 과제와 데이터셋에의 적용 가능성을 시사한다.