[논문 리뷰] MT-BioNER: Multi-task Learning for Biomedical Named Entity Recognition using Deep Bidirectional Transformers

Muhammad Raza Khan, Morteza Ziyadi외 1명|arXiv (Cornell University)|2020. 01. 24.

Topic Modeling참고 문헌 19인용 수 34

한 줄 요약

MT-BioNER은 다중 작업 트랜스포머 기반 슬롯 태깅 모델을 제시합니다. 이 모델은 여러 생물의학 NER 데이터 세트 간에 BioBERT/BERT 계층을 공유하여 재현율과 전체 F1를 향상시키는 동시에 단일 작업 접근 방식에 비해 학습 및 추론 시간을 단축합니다.

ABSTRACT

Conversational agents such as Cortana, Alexa and Siri are continuously working on increasing their capabilities by adding new domains. The support of a new domain includes the design and development of a number of NLU components for domain classification, intents classification and slots tagging (including named entity recognition). Each component only performs well when trained on a large amount of labeled data. Second, these components are deployed on limited-memory devices which requires some model compression. Third, for some domains such as the health domain, it is hard to find a single training data set that covers all the required slot types. To overcome these mentioned problems, we present a multi-task transformer-based neural architecture for slot tagging. We consider the training of a slot tagger using multiple data sets covering different slot types as a multi-task learning problem. The experimental results on the biomedical domain have shown that the proposed approach outperforms the previous state-of-the-art systems for slot tagging on the different benchmark biomedical datasets in terms of (time and memory) efficiency and effectiveness. The output slot tagger can be used by the conversational agent to better identify entities in the input utterances.

연구 동기 및 목표

• 라벨이 제한된 도메인 특정 대화 에이전트를 위한 Biomedical Named Entity Recognition(BioNER) 개선의 필요성을 제시한다.
• 데이터세트 간에 사전 학습된 언어 모델 계층을 공유하고 데이터세트별 출력 헤드를 사용하는 다중 작업 학습 아키텍처를 제안한다.
• 벤치마크 생물의학 데이터세트에서 정밀도, 재현율, F1의 성능 향상을 입증하고 학습/추론 효율성을 분석한다.

제안 방법

• Task 간(데이터셋 간) 공유 인코더로 BioBERT를 사용한다.
• 각 데이터세트에 대해 데이터세트 특유의 엔티티 유형을 학습하기 위해 태스크별 선형 출력 계층을 부착한다.
• 데이터세트별 교차 엔트로피 손실의 합으로 구성된 다중 작업 목적 함수로 학습하며, 데이터세트 기여도는 동일하게 한다(lambda_i = 1).
• 공유 계층 고정 vs 전체 네트워크 미세 조정 두 가지 전이학습 변형을 조사한다.
• 최신 BioNER 모델과의 비교를 수행하고 학습/추론 시간 및 모델 크기를 보고한다.
• 훈련 스키마(Algorithm I 대 Algorithm II)와 BioBERT 대 일반 BERT 베이스를 사용한 도메인 적응을 탐구한다.

실험 결과

연구 질문

• RQ1 다중 작업 훈련이 공유 트랜스포머 백본으로 여러 생물의학 데이터세트에서 단일 작업 또는 다른 다중 작업 기준선 대비 BioNER 성능을 향상시키는가?
• RQ2 공유 계층 미세 조정 대 고정의 미세 조정 전략이 성능과 학습 효율성에 미치는 영향은 무엇인가?
• RQ3 도메인 특화 사전학습(BioBERT)이 다중 작업 BioNER에서 일반 BERT 베이스 대비 결과에 어떤 영향을 미치는가?
• RQ4 다중 작업 BioNER 모델의 학습/추론 시간 및 모델 크기의 트레이드오프는 무엇인가?

주요 결과

• 세 데이터세트에서 학습된 MT-BioNER가 경쟁 기반 모델보다 재현율 및 F1이 더 높다.
• 네 데이터세트에서 학습된 MT-BioNER가 MTM-CW 다중 작업 접근법보다 재현율과 F1이 개선된다.
• BioBERT를 공유 인코더로 사용하면 생물의학 NER에 대해 강력한 도메인 특정 표현을 얻을 수 있다.
• 공유 언어 모델을 태스크별 계층과 함께 미세 조정하는 것이 강력한 성능에 결정적이며, 공유 계층을 고정하면 성능이 낮아진다(F1 < 60%).
• 해당 모델은 최근 다중 작업 기반 대비 더 빠른 학습/추론 시간을 보여주며, 크기는 더 크지만 단일 다중 작업 모델 공간(430 MB)을 차지한다.
• 도메인 적응 결과 BioBERT 기반 MT-BioNER가 일반 BERT 기반 설정을 능가하거나 대등하게 수행하되 훈련 반복 횟수에 일부 트레이드오프가 있다.