[논문 리뷰] Attending to All Mention Pairs for Full Abstract Biological Relation Extraction

Patrick Verga, Emma Strubell외 2명|arXiv (Cornell University)|2017. 10. 23.

Topic Modeling인용 수 8

한 줄 요약

이 논문은 생물의학적 개요 전반에서 모든 언급 쌍 간의 관계를 동시에 예측하는 신경망 모델인 Bi-affine Relation Attention Networks(BRAN)을 제안한다. 이 모델은 자기주의(Self-attention)와 이중선형 스코어링(Bi-affine scoring)을 사용하여 외부 지식 기반 시스템 없이 Biocreative V CDR 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다. 모델은 공동 엔티티 인식과 약한 지도 학습 데이터를 통해 일반화 능력을 향상시키며, 희박한 언급 수준의 주석에서 발생하는 노이즈를 줄이기 위해 문서 수준의 다중 예제 학습(Multi-instance learning)을 활용한다.

ABSTRACT

Most work in relation extraction forms a prediction by looking at a short span of text within a single sentence containing a single entity pair mention. However, many relation types, particularly in biomedical text, are expressed across sentences or require a large context to disambiguate. We propose a model to consider all mention and entity pairs simultaneously in order to make a prediction. We encode full paper abstracts using an efficient self-attention encoder and form pairwise predictions between all mentions with a bi-affine operation. An entity-pair wise pooling aggregates mention pair scores to make a final prediction while alleviating training noise by performing within document multi-instance learning. We improve our model's performance by jointly training the model to predict named entities and adding an additional corpus of weakly labeled data. We demonstrate our model's effectiveness by achieving the state of the art on the Biocreative V Chemical Disease Relation dataset for models without KB resources, outperforming ensembles of models which use hand-crafted features and additional linguistic resources.

연구 동기 및 목표

• 기존의 관계 추출 모델이 단일 문장, 단일 엔티티 쌍의 범위에만 집중하여 생물학적 텍스트에서 흔한 문장 간 관계를 포착하지 못하는 한계를 해결하기 위해.
• 문서 내 모든 언급 쌍을 동시에 모델링하여 장거리 맥락 인식 능력을 향상시키고 생물학적 텍스트에서의 관계 추출 성능을 향상시키기 위해.
• 희박한 언급 수준 주석에서 발생하는 학습 노이즈를 줄이기 위해 문서 수준의 다중 예제 학습을 적용하여.
• 외부 지식 기반 시스템이나 수작업으로 만든 언어학적 특징에 의존하지 않고 Biocreative V CDR 데이터셋에서 최신 기술 수준 성능을 달성하기 위해.

제안 방법

• 모델은 서브워드 토큰을 다룰 수 있도록 보다 강력한 처리 능력을 제공하는 바이트-페어 인코딩(BPE)을 사용하는 Transformer 기반 자기주의 인코더를 사용한다.
• 각 토큰은 다층 퍼셉트론(MLPs)을 통해 별도의 헤드(head) 및 테일(tail) 표현으로 변환되며, 이는 관계별 가중치 행렬을 사용한 이중선형 연산에 활용되어 쌍별 관계 스코어를 계산한다.
• 로그합지수(LogSumExp) 풀링 연산을 통해 동일한 엔티티 쌍에 속하는 모든 언급 쌍의 스코어를 집계하여 각 관계 유형에 대한 최종 엔티티 수준 예측을 생성한다.
• 모델은 공동으로 명명된 엔티티 인식(NER)과 관계 추출을 학습하여 공유된 맥락 표현을 통해 전체 성능을 향상시킨다.
• 추가 코퍼스로부터의 약한 레이블링 데이터를 학습 중에 통합하여 일반화 능력을 향상시키고 완전 주석 데이터에 대한 의존도를 줄인다.
• 문서 수준에서 다중 예제 학습을 적용하여, 문서 내 어떤 긍정적 언급 쌍이 존재하면 해당 엔티티 쌍에 대한 예측을 긍정적으로 지원함으로써, 누락된 언급 수준 주석에서 발생하는 노이즈를 완화한다.

실험 결과

연구 질문

• RQ1 전체 개요에서 모든 언급 쌍을 동시에 고려하는 신경망 모델이 생물학적 관계 추출에서 고립된 문장 수준의 범위에 집중하는 모델보다 성능이 뛰어나게 되는가?
• RQ2 BPE 토크나이제이션을 사용한 전체 개요에서 자기주의가 생물학적 텍스트의 문장 간 관계를 얼마나 잘 포착하는가?
• RQ3 명명된 엔티티 인식과 관계 추출을 공동으로 학습하는 것이 자원이 제한된 관계 추출 작업에서 성능 향상에 얼마나 기여하는가?
• RQ4 문서 수준에서의 다중 예제 학습이 생물학적 관계 추출에서 노이즈가 많거나 완전하지 않은 언급 수준 주석의 영향을 어느 정도 줄일 수 있는가?

주요 결과

• BRAN 모델은 외부 지식 기반 시스템 없이 Biocreative V CDR 데이터셋에서 F1 스코어 62.1%를 기록하여, 외부 지식 기반 자원을 사용하지 않는 모델 중 최신 기술 수준(SOTA)을 달성한다.
• 수작업 특징과 언어학적 자원을 사용하는 앙상블 모델보다도 성능이 뛰어나, 전체 맥락 주의를 갖춘 엔드 투 엔드 신경망 모델링이 전통적인 특징 중심 접근 방식을 초월할 수 있음을 보여준다.
• 절단 실험(Ablation study) 결과, NER 지도 학습을 제거하면 F1 스코어가 7.0% 포인트 감소(62.1% → 55.5%)함을 확인하여 공동 엔티티 인식의 중요성을 입증한다.
• 추가적인 약한 레이블링 데이터를 사용할 경우 F1 스코어가 62.1%에서 68.4%로 상승하여, 약한 지도 학습이 모델 일반화 능력을 크게 향상시킨다는 것을 시사한다.
• 너비 5의 컨볼루션 레이어를 제거하면 F1 스코어가 55.7%로 감소하여 국소적 컨볼루션 특징이 성능에 의미 있는 기여를 한다는 것을 보여준다.
• 더 큰 BPE 어휘(10,000개)로 훈련한 경우 F1 스코어가 66.2%로 증가하는 반면, 더 작은 어휘(2,500개)로 훈련한 경우 62.1%에 머무름을 통해 어휘 크기가 성능에 영향을 미친다는 것을 확인한다.