[논문 리뷰] BioBART: Pretraining and Evaluation of A Biomedical Generative Language Model

Hongyi Yuan, Zheng Yuan외 4명|arXiv (Cornell University)|2022. 04. 08.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 PubMed 초록을 대상으로 노이즈 제거 자동에코딩 목적을 사용해 사전 훈련한 생물의학적 생성 언어 모델인 BioBART를 소개한다. BioBART는 대화, 요약, 엔터티 연결, 명명된 실체 인식 등의 다양한 생물의학적 자연어 생성 작업에서 BART 및 최신 기술보다 뛰어난 성능을 보이며, 추론 분석 결과 문장 순서 뒤섞기 전처리 과정이 성능을 떨어뜨리는 것으로 나타났다.

ABSTRACT

Pretrained language models have served as important backbones for natural language processing. Recently, in-domain pretraining has been shown to benefit various domain-specific downstream tasks. In the biomedical domain, natural language generation (NLG) tasks are of critical importance, while understudied. Approaching natural language understanding (NLU) tasks as NLG achieves satisfying performance in the general domain through constrained language generation or language prompting. We emphasize the lack of in-domain generative language models and the unsystematic generative downstream benchmarks in the biomedical domain, hindering the development of the research community. In this work, we introduce the generative language model BioBART that adapts BART to the biomedical domain. We collate various biomedical language generation tasks including dialogue, summarization, entity linking, and named entity recognition. BioBART pretrained on PubMed abstracts has enhanced performance compared to BART and set strong baselines on several tasks. Furthermore, we conduct ablation studies on the pretraining tasks for BioBART and find that sentence permutation has negative effects on downstream tasks.

연구 동기 및 목표

• 생물의학 NLP 분야에서 도메인 내 생성 언어 모델의 부족을 해결하기 위해 BART를 생물의학 분야에 적응시키는 것.
• 표준화된 평가를 위한 기존 생물의학적 자연어 생성 작업의 포괄적 벤치마크를 정리하고 공개하는 것.
• 특히 문장 순서 뒤섞기와 같은 다양한 사전 훈련 목표의 영향을 생물의학적 NLG 작업에 대해 조사하는 것.
• 다양한 생물의학 데이터셋을 대상으로 체계적인 사전 훈련 및 평가를 통해 생물의학적 NLG에 대한 강력한 베이스라인을 수립하는 것.
• 특히 엔터티 연결 및 명명된 실체 인식과 같은 작업에서 생성 모델링을 통해 생물의학 언어 이해를 향상시키는 것.

제안 방법

• PubMed 초록에서 노이즈 제거 자동에코딩 목적을 사용해 BART 아키텍처를 기반으로 BioBART를 사전 훈련하는 것.
• 문장 순서 뒤섞기를 포함하지 않고, 텍스트 인페닝 전용 사전 훈련 작업을 통해 생성 모델의 다운스트림 NLG 작업 성능 유지.
• 대화(CovidDialog), 요약(MeQSum, iCliniq), 엔터티 연결(AAP, BC5CDR), NER(ShARe13, GENIA) 등의 다양한 생물의학적 NLG 벤치마크에서 BioBART를 미세조정하는 것.
• 문장 순서 뒤섞기 사전 훈련 목표를 포함하거나 제거한 모델 간 비교를 통해 영향을 평가하기 위해 추론 분석을 수행하는 것.
• Rouge, BLEU, F1, Recall@1과 같은 표준 지표를 사용해 다양한 생물의학 NLP 작업에서 성능을 평가하는 것.
• 재현 가능성과 향후 연구 지원을 위해 코드, 체크포인트, 생물의학적 NLG 데이터셋의 정제된 벤치마크를 공개하는 것.

실험 결과

연구 질문

• RQ1 BART와 같은 생성 언어 모델을 생물의학 텍스트에서 사전 훈련하면 다운스트림 생물의학적 NLG 작업에서 성능 향상이 이루어지는가?
• RQ2 사전 훈련 과정에서 문장 순서 뒤섞기를 포함할 경우 생성 모델의 생물의학적 NLG 벤치마크 성능에 어떤 영향을 미치는가?
• RQ3 BART를 도메인에 맞게 개선한 생성 모델인 BioBART는 생물의학 대화, 요약, 엔터티 연결 작업에서 강력한 베이스라인으로 기능할 수 있는가?
• RQ4 PubMed 초록에서 도메인 내 사전 훈련을 통해 일반 도메인 모델인 BART에 비해 도메인 이탈 문제를 어느 정도 완화할 수 있는가?
• RQ5 생성 모델링은 생물의학 NER 및 엔터티 연결 작업을 효과적으로 처리할 수 있으며, 분류 기반 최신 기술과 비교해 어떤가?

주요 결과

• CovidDialog 대화 생성 벤치마크에서 BioBART-large는 BART-large 대비 Rouge-2 1.71점, Rouge-L 0.03점 향상되어 성능이 뛰어나다.
• MeQSum 요약 데이터셋에서 BioBART-large는 BART-large 대비 Rouge-1/2/L 각각 1.93/1.31/2.1점 향상되어 현재 최고 성능을 초월한다.
• 엔터티 연결 작업에서 BioBART는 AAP, BC5CDR, COMETA 각각 Recall@1에서 0.4, 1.67, 1.36점 향상되어 분류 기반 최신 기술을 뛰어넘는다.
• NER 작업에서 BioBART-large는 ShARe13에서 실체 수준 F1 점수를 1.06점 향상시키고 GENIA에서는 1.00점 향상시켜, 최고의 분류 기반 모델과의 격차가 있음에도 불구하고 뛰어난 생성 성능을 입증한다.
• 추론 분석 결과, 문장 순서 뒤섞기 사전 훈련 과정을 제외할 경우 성능 향상이 이루어지며, 그 포함 여부가 여러 NLG 작업에서 결과를 떨어뜨리는 것으로 나타났다.
• 질적 예시를 통해 BioBART는 사실 오류가 포함된 BART의 생성 결과를 수정할 수 있는 생물의학적 일반 지식 및 문서 이해 능력 향상을 확인할 수 있었다.