[논문 리뷰] An Empirical Study of Multi-Task Learning on BERT for Biomedical Text Mining

Yifan Peng, Qingyu Chen외 1명|arXiv (Cornell University)|2020. 05. 06.

Topic Modeling참고 문헌 39인용 수 12

한 줄 요약

이 논문은 생물의학 및 임상 NLP 작업을 공동으로 미세조정하기 위해 다중 디코더를 사용하는 BERT 기반의 다중 작업 학습(MTL) 프레임워크를 제안하며, 8개의 다양한 작업에서 최신 기술 수준의 성능을 달성한다. MTL로 미세조정된 모델은 각각 생물의학 및 임상 벤치마크에서 단일 작업 BERT 버전보다 2.0%와 1.3% 향상되었으며, 쌍별 MTL 분석을 통해 작업별 전이 효과를 확인할 수 있었다.

ABSTRACT

Multi-task learning (MTL) has achieved remarkable success in natural language processing applications. In this work, we study a multi-task learning model with multiple decoders on varieties of biomedical and clinical natural language processing tasks such as text similarity, relation extraction, named entity recognition, and text inference. Our empirical results demonstrate that the MTL fine-tuned models outperform state-of-the-art transformer models (e.g., BERT and its variants) by 2.0% and 1.3% in biomedical and clinical domains, respectively. Pairwise MTL further demonstrates more details about which tasks can improve or decrease others. This is particularly helpful in the context that researchers are in the hassle of choosing a suitable model for new problems. The code and models are publicly available at https://github.com/ncbi-nlp/bluebert

연구 동기 및 목표

• 공유 BERT 인코더를 사용한 다중 작업 학습이 다양한 생물의학 및 임상 NLP 작업에서 성능 향상에 기여하는지 조사하기 위해.
• 생물의학 및 임상 NLP에서 레이블이 부족한 상황이 흔한 저자원 환경에서 MTL의 효과성을 평가하기 위해.
• 성능 향상 또는 저하를 초래하는 작업 조합을 특정하여, 새로운 작업에 대한 모델 선택에 정보를 제공하기 위해.
• 다양한 사전학습 전략(예: PubMed 전용 vs. PubMed + 임상 노트)이 생물의학 및 임상 도메인의 MTL 성능에 미치는 영향을 비교하기 위해.
• 더 넓은 연구 사용과 재현 가능성을 위해 공개된 코드 및 사전학습된 MTL 모델를 제공하기 위해.

제안 방법

• 생물의학 및 임상 NLP 작업 8개(텍스트 유사도, 관계 추출, 명명된 실체 인식, 텍스트 추론 포함)에서 공유 BERT 인코더와 다중 작업 전용 디코더를 사용해 미세조정한다.
• 모든 작업을 동시에 훈련한 후 개별 작업에 대해 미세조정하기 전에 다중 작업 보완 모델(MT-BERT-Refinement)을 훈련한다(MT-BERT-Fine-Tune).
• 모든 두 작업 조합을 함께 훈련하여 성능에 미치는 영향을 평가하고, 유익하거나 해로운 작업 조합을 식별한다.
• 다양한 사전학습 데이터(PubMed, 임상 노트, 또는 둘 다)를 사용한 BioBERT, ClinicalBERT, BlueBERT 등의 BERT 버전 간 MTL 성능을 비교한다.
• BLUE 벤치마크를 사용해 생물의학 및 임상 도메인을 별도로 적용하고, MT-BERT-Fine-Tune 접근법을 평가한다.
• 다양한 텍스트 장르와 NLP 작업을 포함해 일반화 능력을 확보하기 위해 BLUE 벤치마크를 사용해 MTL 성능의 탄탄함을 평가한다.

실험 결과

연구 질문

• RQ1 공유 BERT 인코더를 사용한 다중 작업 학습이 단일 작업 미세조정 대비 생물의학 및 임상 NLP 작업의 개별 성능 향상에 기여하는가?
• RQ2 다중 작업 학습에서 어떤 작업 조합이 가장 큰 성능 향상을 이끌어내며, 어떤 조합은 해로운가?
• RQ3 사전학습 데이터(예: PubMed 전용 vs. PubMed + 임상 노트)는 생물의학 및 임상 도메인의 MTL 모델 성능에 어떤 영향을 미치는가?
• RQ4 단일 MTL 모델이 모든 작업에서 최신 기술 수준의 성능을 달성할 수 있는가? 이는 새로운 작업에 대한 효율적 구현 가능성을 높인다.
• RQ5 데이터 특성(예: 레이블 집합 크기, 코퍼스 크기)이 생물의학 NLP에서 다중 작업 학습의 성공 여부를 예측하는 데 어느 정도 기여하는가?

주요 결과

• MT-BERT-Fine-Tune 모델은 생물의학 작업에서 단일 작업 BERT 대비 평균 2.0% 향상되었고, 임상 작업에서는 1.3% 향상되어 새로운 최신 기술 수준 결과를 확립했다.
• 쌍별 MTL 분석을 통해 MedNLI와 i2b2 2010 re 작업은 조합에 따라 다른 작업의 성능을 향상시키거나 저하시킬 수 있었으며, i2b2 2010 re 작업은 고도의 레이블 다양성으로 인해 혼합된 영향을 보였다.
• 임상 작업에서는 MT-BlueBERT-Fine-Tune가 다른 버전보다 뛰어난 성능을 보였고, MT-BioBERT-Fine-Tune는 BLUE 작업 전반에서 평균적으로 최고의 성능를 기록했다.
• PubMed과 임상 노트 양쪽 모두에서 사전학습을 수행하면 임상 작업 성능이 크게 향상되었지만, 생물의학 작업에는 거의 영향을 미치지 않았다.
• 큰 레이블 집합을 가진 작업들(예: DDI, ChemProt)은 MTL에서 가장 큰 이점을 얻었고, 큰 훈련 데이터를 가진 작업들(예: BC5CDR)은 최소한의 성능 향상을 보였다.
• MTL 보완 단계(MT-BERT-Refinement)는 일관된 성능 향상을 보였으며, 이는 두 단계 접근법(공동 사전학습 → 작업별 미세조정)의 타당성을 뒷받침한다.