[논문 리뷰] BioFLAIR: Pretrained Pooled Contextualized Embeddings for Biomedical Sequence Labeling Tasks

Shreyas Sharma, Ron Daniel|arXiv (Cornell University)|2019. 08. 13.

Topic Modeling참고 문헌 12인용 수 16

한 줄 요약

이 논문은 생물의학적 시퀀스 레이블링 작업을 위해 PubMed 데이터로 미세조정된 컨텍스트 기반 임베딩 모델인 BioFLAIR를 소개한다. 한 벤치마크에서 최신 기술 수준의 성능을 달성하며, BERT 수준의 성능을 낮은 계산 비용으로 달성했고, 다른 모델과의 조합을 통해 성능 향상이 가능함을 보여주었다. 다만 추가 미세조정은 명확한 이점을 제공하지 못했다.

ABSTRACT

Biomedical Named Entity Recognition (NER) is a challenging problem in biomedical information processing due to the widespread ambiguity of out of context terms and extensive lexical variations. Performance on bioNER benchmarks continues to improve due to advances like BERT, GPT, and XLNet. FLAIR (1) is an alternative embedding model which is less computationally intensive than the others mentioned. We test FLAIR and its pretrained PubMed embeddings (which we term BioFLAIR) on a variety of bio NER tasks and compare those with results from BERT-type networks. We also investigate the effects of a small amount of additional pretraining on PubMed content, and of combining FLAIR and ELMO models. We find that with the provided embeddings, FLAIR performs on-par with the BERT networks - even establishing a new state of the art on one benchmark. Additional pretraining did not provide a clear benefit, although this might change with even more pretraining being done. Stacking the FLAIR embeddings with others typically does provide a boost in the benchmark results.

연구 동기 및 목표

• 생물의학적 시퀀스 레이블링을 위한 BERT 스타일 모델의 계산 비용을 줄인 대안을 개발하기 위해.
• PubMed 데이터로 사전 훈련된 FLAIR 임베딩(BioFLAIR)의 성능을 다양한 생물의학적 NER 벤치마크에서 평가하기 위해.
• PubMed 데이터로 추가 사전 훈련을 수행하면 성능 향상이 이루어지는지 조사하기 위해.
• ELMo와 같은 다른 임베딩 모델과 BioFLAIR를 조합했을 때의 영향을 평가하기 위해.
• 컨텍스트 기반 임베딩을 사용하여 생물의학적 NER 작업에 대해 강력하고 효율적인 기준을 설정하기 위해.

제안 방법

• PubMed에서 유래한 텍스트로 FLAIR 모델을 미세조정하여 도메인 특화 컨텍스트 기반 임베딩 모델인 BioFLAIR를 생성하기 위해.
• FLAIR 모델의 최종 레이어에서 통합된 컨텍스트 기반 임베딩을 사용하여 후속 시퀀스 레이블링 작업을 수행하기 위해.
• NCBI-Disease, BC5CDR, JNLPBA를 포함한 다양한 생물의학적 NER 벤치마크에서 BioFLAIR의 성능을 평가하기 위해.
• 성능 향상을 평가하기 위해 PubMed 데이터로 추가 사전 훈련을 수행하기 위해.
• 대표성 학습을 향상시키기 위해 BioFLAIR 임베딩과 ELMo 임베딩을 특성 스태킹을 통해 결합하기 위해.
• 통합된 BioFLAIR 임베딩을 입력 특성으로 사용하여 CRF 기반 시퀀스 레이블링 모델을 훈련하기 위해.

실험 결과

연구 질문

• RQ1 BioFLAIR는 BERT 기반 모델과 비교해 생물의학적 NER 작업에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 PubMed 데이터로 추가 사전 훈련을 수행하면 BioFLAIR의 성능 향상이 이루어지는가?
• RQ3 ELMo와 같은 다른 임베딩 모델과 BioFLAIR를 조합했을 때의 영향은 무엇인가?
• RQ4 BioFLAIR는 최신 기술 수준의 BERT 기반 모델과 정확도와 효율성 면에서 어떻게 비교되는가?
• RQ5 FLAIR에서 유도된 통합된 컨텍스트 기반 임베딩이 생물의학적 NER에서 새로운 최신 기술 수준을 설정할 수 있는가?

주요 결과

• BioFLAIR는 NCBI-Disease 벤치마크에서 최신 기술 수준의 성능을 달성하며 이전 모델을 능가한다.
• BioFLAIR는 낮은 계산 비용에도 불구하고 여러 생물의학적 NER 벤치마크에서 BERT 기반 모델과 동등한 성능을 보였다.
• PubMed 데이터로 추가 사전 훈련을 수행했지만 성능 향상이 명확하지 않았다. 다만 더 긴 사전 훈련 기간은 이 결과를 바꿀 수 있다.
• BioFLAIR 임베딩을 ELMo 임베딩과 스태킹하면 일관되게 벤치마크 성능이 향상되었으며, 이는 상호 보완적인 표현 학습을 의미한다.
• 모델은 최소한의 아키텍처 복잡성으로 다양한 생물의학적 NER 데이터셋에 대해 강력한 일반화 성능를 보였다.
• BioFLAIR는 BERT의 대안으로 계산 비용이 저렴하여 자원 제약이 있는 환경에서 적합하다.