[논문 리뷰] Benchmarking BioRelEx for Entity Tagging and Relation Extraction

Abhinav Bhatt, Kaustubh Dhole|arXiv (Cornell University)|2020. 05. 31.

Topic Modeling참고 문헌 21인용 수 4

한 줄 요약

이 논문은 BioRelEx 데이터셋에서 다수의 엔티티 태깅 및 관계 추출 모델을 벤치마킹하여, DYGIEPP와 같은 스파ن 기반 다중 작업 아키텍처가 이전 최고 성능 모델 대비 각각 엔티티 태깅에서 4.9%, 관계 추출에서 6%의 절대 F-스코어 향상을 보임을 입증한다. 본 연구는 특히 엔티티 태깅에서 도메인 특화 임베딩인 BioELMo가 성능을 크게 향상시키며, 관계 및 공호성 추론을 통한 다중 작업 학습이 결과를 향상시킴을 보여준다.

ABSTRACT

Extracting relationships and interactions between different biological entities is still an extremely challenging problem but has not received much attention as much as extraction in other generic domains. In addition to the lack of annotated data, low benchmarking is still a major reason for slow progress. In order to fill this gap, we compare multiple existing entity and relation extraction models over a recently introduced public dataset, BioRelEx of sentences annotated with biological entities and relations. Our straightforward benchmarking shows that span-based multi-task architectures like DYGIE show 4.9% and 6% absolute improvements in entity tagging and relation extraction respectively over the previous state-of-art and that incorporating domain-specific information like embeddings pre-trained over related domains boosts performance.

연구 동기 및 목표

• 최근 공개된 BioRelEx 데이터셋을 활용하여 생물학적 텍스트에서 엔티티 태깅 및 관계 추출에 대한 더 강력한 벤치마크를 수립하기 위해.
• DYGIE와 같은 현대적 스파인 기반 다중 작업 아키텍처가 도메인 특화 생물의학 텍스트에서 얼마나 효과적인지 평가하기 위해.
• 관계 및 공호성 추론과 같은 아키텍처 구성 요소가 성능에 미치는 영향을 조사하기 위해.
• BioRelEx에 최적화된 모델 및 임베딩 구성 요소를 규명하여 이전 최고 성능 모델을 초월하기 위해.

제안 방법

• 연구는 BioRelEx 검증 세트에서 BiLSTM-CRF, BiGRU-CRF, CNN-CRF 및 최고 성능 모델인 DYGIEPP를 포함한 다양한 모델을 평가한다.
• GloVe, FastText, 바이트 페어, Flair 및 BioELMo를 포함한 다양한 임베딩을 다양한 모델 아키텍처에 통합하여 그 영향을 평가한다.
• 저자들은 ELMo, GloVe 및 문자 수준 임베딩을 입력 특징으로 사용하고, 엔티티 태깅, 관계 추출 및 공호성 해결을 공동 최적화하는 다중 작업 학습을 적용한다.
• 공호성 및 관계 전파 메커니즘은 스파인 표현 학습에 기여하는 바를 체계적으로 평가한다.
• 초기화 조정을 통해 하이퍼파라미터 튜닝을 수행하였으며, BiLSTM 구성 요소의 은닉 유닛 수와 레이어 수를 조정하였고, 400개의 유닛과 2개의 레이어가 최적의 성능을 내는 것으로 확인되었다.
• 공식 평가 스크립트( Khachatrian et al., 2019 )를 사용하여 마이크로 평균 정밀도, 재현도 및 F1 점수를 평가한다.

실험 결과

연구 질문

• RQ1 DYGIEPP와 같은 스파인 기반 다중 작업 아키텍처가 BioRelEx 데이터셋에서 기존의 모델인 BiLSTM-CRF를 능가할 수 있는가?
• RQ2 BioELMo와 같은 도메인 특화 임베딩이 BioRelEx에서 엔티티 태깅 및 관계 추출 성능에 얼마나 기여하는가?
• RQ3 관계 및 공호성 추론과 같은 아키텍처 구성 요소가 BioRelEx에서 모델 성능에 미치는 영향은 어떠한가?
• RQ4 이 생물의학 NLP 벤치마크에서 ELMo 또는 BioELMo와 같은 문맥 기반 임베딩이 BERT나 SciBERT를 능가하는가?
• RQ5 데이터 변환 문제로 인해 평가에 차이가 발생하는가, 그리고 그로 인해 성능 비교에 어떤 영향을 미치는가?

주요 결과

• DYGIEPP는 BioRelEx 데이터셋에서 이전 최고 성능 모델 대비 엔티티 태깅에서 4.9% 절대 F1 점수 향상, 관계 추출에서 6% 절대 F1 점수 향상을 달성하였다.
• BioELMo 임베딩을 사용할 경우 표준 ELMo 임베딩 대비 엔티티 태깅에서 1.7% 절대 F1 점수 향상이 있었다.
• 공호성 전파가 엔티티 태깅 및 관계 추출 양 측면에서 성능 향상에 기여하며, 관계 전파의 효과는 관계 추출에서 더 뚜렷한 긍정적 영향을 보였다.
• ELMo, GloVe 및 문자 수준 임베딩을 포함한 다중 작업 아키텍처는 GLUE에서의 결과와는 반대로 이 벤치마크에서 BERT 및 SciBERT를 능가하였다.
• 평가 스크립트의 데이터 변환 과정에서 약간의 차이가 발생할 수 있으며, 이로 인해 훈련 세트에서 최대 F1 점수가 약 91.2%로 제한될 수 있으나, 상대적 모델 순위는 안정된 편이었다.
• BiLSTM 레이어 수와 은닉 유닛 수를 늘릴수록 성능 향상이 있었으며, 최적의 결과를 얻기 위해 400개의 유닛과 2개의 레이어를 선택하였다.