[논문 리뷰] SciFive: a text-to-text transformer model for biomedical literature

Long Phan, James Anibal외 5명|arXiv (Cornell University)|2021. 05. 28.

Topic Modeling참고 문헌 16인용 수 94

한 줄 요약

SciFive는 대규모 생물의학 코퍼스(C4, PubMed, PMC)에서 사전 학습된 도메인 특화 T5 기반 모델로, NER, 관계 추출, 자연어 추론, 특히 QA를 포함한 생물의학 NLP 태스크에서 SOTA 또는 거의 SOTA 성능을 달성합니다; 또한 더 긴 텍스트 생성 태스크에서도 강한 성능을 보입니다.

ABSTRACT

In this report, we introduce SciFive, a domain-specific T5 model that has been pre-trained on large biomedical corpora. Our model outperforms the current SOTA methods (i.e. BERT, BioBERT, Base T5) on tasks in named entity relation, relation extraction, natural language inference, and question-answering. We show that text-generation methods have significant potential in a broad array of biomedical NLP tasks, particularly those requiring longer, more complex outputs. Our results support the exploration of more difficult text generation tasks and the development of new methods in this area

연구 동기 및 목표

• 문헌 마이닝 및 분석을 지원하기 위한 밀집된 생물의학 언어로 학습된 언어 모델의 필요성을 제시합니다.
• SciFive를 제안합니다, 생물의학 코퍼스에서 사전 학습된 도메인 적응형 T5 모델로 텍스트-투-텍스트 생물의학 태스크를 가능하게 합니다.
• SciFive의 NER, RE, NLI, 문서 분류 및 QA 태스크에서 기존 BERT 기반 및 T5 기반 기준모델 대비 성능상의 이점을 입증합니다.

제안 방법

• T5 시퀀스-투-시퀀스 프레임워크를 채택하고 텍스트 생성 태스크를 가능하게 하기 위해 그 아키텍처와 사전 학습 목표(span-based masking)을 유지합니다.
• SciFive를 기본 T5 가중치에서 생물의학 코퍼스 조합(C4, PubMed 초록, PMC 전체 텍스트)을 사용하여 최대 1.2M 스텝까지 사전 학습합니다.
• 모든 태스크를 텍스트-투-텍스트 문제로 표현하고 다중 태스크 미세조정을 위한 태스크 특화 프롬프트 토큰을 사용합니다.
• 생물의학 텍스트에 적합한 하위단어 어휘를 구축하기 위해 SentencePiece 토크나이제이션을 사용합니다.
• 다섯 가지 생물의학 NLP 태스크 범주(NER, RE, NLI, 문서 분류, QA)에 대해 다중 태스크 및 단일 태스크 설정 모두에서 SciFive를 미세조정합니다.
• 벤치마크 데이터셋에서 평가하고 SOTA 방법(BioBERT, BlueBERT, BERT, T5)과 비교합니다.

실험 결과

연구 질문

• RQ1 생물의학 코퍼스에서 학습된 단일 텍스트-투-텍스트 트랜스포머가 표준 생물의학 NLP 태스크에서 BERT 기반 모델보다 성능을 능가할 수 있나요?
• RQ2 SciFive가 QA 및 요약과 같은 더 긴 출력 생성을 필요로 하는 태스크에서 기존 모델과 비교하여 경쟁력 있거나 우수한 결과를 제공합니까?
• RQ3 다른 생물의학 코퍼스(C4, PubMed, PMC)가 태스크 전반에 걸친 SciFive의 성능에 미치는 영향은 무엇입니까?
• RQ4 텍스트-투-텍스트 프레임워크를 사용할 때 NER 및 관련 생물의학 태스크에 대해 다중 태스크 미세조정이 유익합니까?
• RQ5 BioASQ 질문 응답에서 느슨한 정확도 평가하에 SciFive의 성능은 BioBERT 및 T5와 비교하여 어떠합니까?

주요 결과

• SciFive는 7개의 NER 태스크 중 3개, 2개의 RE 태스크 중 2개, 1개의 NLI 태스크 중 1개에서 SOTA를 달성했습니다.
• SciFive는 3가지 BioASQ QA 태스크 모두에서 전문가 평가에서 느슨한 정확도 하에서 SOTA를 달성했습니다.
• SciFive는 QA에서 강력한 성능을 보이며, 종종 BioBERT를 능가하고 생성 중심 태스크에서 T5 및 다른 벤치마크와 경쟁하거나 더 나아갑니다.
• SciFive는 HoC 문서 분류 태스크에서 근접한 SOTA 성능을 제공하여 생성 기능과 함께 문서 수준 분류에서도 경쟁력을 시사합니다.
• PubMed+PMC 코퍼스 구성이 다른 코퍼스 조합을 보편적으로 능가하지 못했으며, 최적의 생물의학 코퍼스 혼합에 대한 추가 연구가 필요함을 시사합니다.