[논문 리뷰] A Survey of Pre-trained Language Models for Processing Scientific Text

Xanh Ho, Anh Khoa Duong Nguyen외 7명|arXiv (Cornell University)|2024. 01. 31.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 2019년에서 2023년 사이에 출간된 생물의학, 컴퓨터 과학, 화학, 수학 분야의 과학적 텍스트를 위한 사전 훈련된 언어 모델(SciLMs)에 대한 첫 번째 종합적 서베이를 제시한다. 총 117개의 모델을 분석하여 모델 아키텍처, 성능 추세, 평가 관행을 검토하고, 강건성, 일반화, 해석 가능성 측면에서의 핵심 격차를 밝혀내며, 신뢰할 수 있는 도메인 및 언어에 관계없이 적용 가능한 SciLM 개발을 위해 표준화된 벤치마크와 다중 모odal 통합을 제안한다.

ABSTRACT

The number of Language Models (LMs) dedicated to processing scientific text is on the rise. Keeping pace with the rapid growth of scientific LMs (SciLMs) has become a daunting task for researchers. To date, no comprehensive surveys on SciLMs have been undertaken, leaving this issue unaddressed. Given the constant stream of new SciLMs, appraising the state-of-the-art and how they compare to each other remain largely unknown. This work fills that gap and provides a comprehensive review of SciLMs, including an extensive analysis of their effectiveness across different domains, tasks and datasets, and a discussion on the challenges that lie ahead.

연구 동기 및 목표

• 과학적 언어 모델(SciLMs)에 대한 종합적 서베이가 부족하여 그 발전 과정과 상대적 성능에 대한 이해가 저해되고 있다는 문제를 해결하기 위해.
• 도메인, 언어, 아키텍처에 관계없이 117개의 SciLMs를 체계적으로 검토하여 NER, QA, 관계 추출 등의 자연어 처리(NLP) 과제에서의 효과성을 집중적으로 분석하기 위해.
• 시간에 따른 성능 추세를 분석하여 생물의학 분야와 BERT 기반 인코더에 대한 편향, 비영어어 및 다중 모달 모델의 부상 등을 규명하기 위해.
• 강건성, 일반화, 해석 가능성 측면에서의 핵심 과제를 특정하고, 향후 모델 개발을 위한 실천 가능한 개선 방안을 제안하기 위해.
• 다양한 과학적 과제와 언어에서 공정하고 신뢰할 수 있는 평가가 가능하도록 표준화된 다중 도메인 벤치마크 도입을 촉구하기 위해.

제안 방법

• 2019년부터 2023년 9월까지 출간된 과학적 텍스트를 위한 사전 훈련된 언어 모델 117개를 식별하고 분류하기 위해 체계적인 문헌 서베이를 수행하였다.
• 모델 분석은 도메인(생물의학, 컴퓨터 과학, 화학, 수학), 언어(특히 비영어어), 모델 크기(파라미터 수와 아키텍처 유형)의 세 가지 차원에 기반하여 수행되었다.
• 12개의 공통 NLP 과제를 대상으로 25개의 벤치마크 데이터셋을 사용하여 성능 평가를 수행하였으며, 과제별 메트릭과 시간적 추세에 중점을 두었다.
• 본 서베이에서는 현재 평가 관행의 핵심 한계를 규명하였으며, 이는 충분한 대비 테스트 부족, 동일 과제 내에서의 데이터셋 간 일반화 평가 부족, 설명 인식 데이터셋의 희소성 등이다.
• SciLMs의 향상 방안으로 지식 기반 시스템 통합, 모델 크기 확대, 다중 모달 콘텐츠(예: 그림, 표) 활용, 저자원 언어 지원을 제안하였다.
• 다양한 모델과 과제 간 공정하고 재현 가능한 비교를 보장하기 위해 표준화된 다중 도메인 벤치마크 도입을 촉구하였다.

실험 결과

연구 질문

• RQ1 2019년에서 2023년 사이에 과학적 텍스트를 위한 사전 훈련된 언어 모델의 현재 상태는 어떠한가? 아키텍처, 도메인 커버리지, 언어 지원 측면에서 어떻게 진화해왔는가?
• RQ2 SciLMs는 주요 과학적 NLP 과제에서 어떻게 성능을 보이며, 시간에 따라 주로 사용되는 아키텍처와 성능 추세는 무엇인가?
• RQ3 현재 SciLMs 평가 관행의 핵심 한계는 무엇인가? 특히 강건성, 일반화, 해석 가능성 측면에서의 한계는 무엇인가?
• RQ4 지식 기반 시스템 통합, 다중 모달 콘텐츠 활용, 저자원 언어 지원을 통해 향후 SciLMs는 어떻게 향상시킬 수 있는가?
• RQ5 표준화된 벤치마크는 과학적 과제와 도메인 간 SciLMs의 공정하고 신뢰할 수 있는 비교를 위해 어떤 역할을 해야 하는가?

주요 결과

• 다수의 SciLMs는 여전히 생물의학 분야에 집중되어 있으며, BERT 기반 인코더 아키텍처가 지배적인 위치를 차지하고 있지만, 비영어어 및 다중 모달 모델에 대한 관심은 점점 증가하고 있다.
• PubMedQA, SciFact, MedNLI 등의 표준 벤치마크에서 성능은 시간이 지남에 따라 지속적으로 향상되고 있지만, 대부분의 성과는 점진적이며 모델 아키텍처에 따라 달라진다.
• 설명 주석이 포함된 과학적 데이터셋은 총 네 개 뿐이다—PubMedQA, SciFact, QASPER, NLI4CT—이로 인해 SciLMs의 해석 가능성 연구에 심각한 격차가 존재함을 시사한다.
• 대비 강건성 테스트는 SciLMs에 거의 적용되지 않으며, 동일 과제 내에서 데이터셋 간 일반화 평가도 부족한 편이며, 특히 저자원 환경에서 더욱 그렇다.
• 2,400개의 인스턴스를 포함한 NLI4CT 데이터셋은 임상 시험을 위한 유일한 최근 NLI 데이터셋으로, 과학적 텍스트를 위한 대규모이고 다양한 NLI 데이터의 부족함을 강조한다.
• 지식 기반 시스템 통합, 모델 크기 확대, 다중 모달 콘텐츠(예: 그림, 표) 활용을 통해 SciLM의 신뢰성과 성능을 향상시키기 위한 권고가 제시되었다.