[논문 리뷰] CamemBERT-bio: Leveraging Continual Pre-training for Cost-Effective Models on French Biomedical Data

Rian Touchent, Laurent Romary외 1명|arXiv (Cornell University)|2023. 06. 27.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 4억 1,300만 단어 분량의 프랑스어 생물의학 코퍼스를 지속적 사전학습을 통해 미세조정한 공개 가능한 프랑스어 생물의학적 언어 모델인 CamemBERT-bio를 소개한다. 이 모델은 명명된 실체 인식 작업에서 평균 F1 스코어가 2.54점 향상되어, 최근의 반대 주장에도 불구하고 도메인 특화 사전학습이 프랑스어 임상 NLP에 효과적임을 입증한다.

ABSTRACT

Clinical data in hospitals are increasingly accessible for research through clinical data warehouses. However these documents are unstructured and it is therefore necessary to extract information from medical reports to conduct clinical studies. Transfer learning with BERT-like models such as CamemBERT has allowed major advances for French, especially for named entity recognition. However, these models are trained for plain language and are less efficient on biomedical data. Addressing this gap, we introduce CamemBERT-bio, a dedicated French biomedical model derived from a new public French biomedical dataset. Through continual pre-training of the original CamemBERT, CamemBERT-bio achieves an improvement of 2.54 points of F1-score on average across various biomedical named entity recognition tasks, reinforcing the potential of continual pre-training as an equally proficient yet less computationally intensive alternative to training from scratch. Additionally, we highlight the importance of using a standard evaluation protocol that provides a clear view of the current state-of-the-art for French biomedical models.

연구 동기 및 목표

• 일반적인 프랑스어 언어 모델인 CamemBERT가 생물의학 텍스트에서 성능이 열 劣한 데 기인한 도메인 불일치 문제를 해결하기 위해.
• 모든 의료 기관에서 사용할 수 있도록 공개되고 개인정보 보호에 적합한 프랑스어 생물의학 언어 모델을 구축하기 위해.
• 도메인 특화 프랑스어 생물의학 텍스트를 대상으로 한 지속적 사전학습이 명명된 실체 인식 작업 성능 향상에 뚜렷한 기여를 한다는 것을 입증하기 위해.
• 정확하고 재현 가능한 벤치마킹을 보장하기 위해 표준화된 평가 프로토콜을 홍보하기 위해.

제안 방법

• 약 4억 1,300만 단어의 새로운 프랑스어 생물의학 코퍼스(biomed-fr)를 대상으로 CamemBERT base 모델의 지속적 사전학습을 수행하였다.
• 사전학습 코퍼스는 프랑스어 임상 보고서, 약품 정보 시트, 생물의학 논문에서 구성되어 도메인 관련성을 확보하였다.
• 표준 NLP 평가 지표를 사용하여 여러 프랑스어 생물의학 명명된 실체 인식 벤치마크에서 모델을 미세조정하였다.
• 사전 처리 편향을 방지하기 위해 정확한 문자 오프셋을 사용한 표준화된 평가 프rotocol를 따르며, CLEF eHealth의 BRATeval 프레임워크와 일치시켰다.
• 약 39시간 동안 두 대의 Tesla V100 GPU에서 학습을 수행하였으며, 예상 이산화탄소 배출량은 0.84 kg CO2 eq였다.
• 성능과 방법론의 일관성을 평가하기 위해 최근의 모델들인 DrBERT 및 BioBERT와의 비교 분석을 수행하였다.

실험 결과

연구 질문

• RQ1 도메인 특화 생물의학 텍스트를 대상으로 한 프랑스어 언어 모델의 지속적 사전학습이 프랑스어 생물의학 NLP 작업 성능 향상에 뚜렷한 기여를 할 수 있는가?
• RQ2 최근의 지속적 사전학습이 프랑스어 생물의학 데이터에서 효과적이지 않다는 주장은 왜 재평가가 필요한가?
• RQ3 표준화된 평가 프로토콜을 사용할 경우, 프랑스어 생물의학 NLP에서 모델 성능 해석에 어떤 영향을 미치는가?
• RQ4 F1 스코어와 클래스별 성능 측면에서 CamemBERT-bio는 DrBERT 및 BioBERT와 같은 최첨단 모델들과 비교해 어떻게 성과를 내는가?
• RQ5 'O' 클래스(비실체 토큰)는 모델 순위 결정에 어떤 역할을 하는가, 그리고 성능 해석에 어떤 영향을 미치는가?

주요 결과

• CamemBERT-bio는 기반 모델인 CamemBERT 대비 여러 프랑스어 생물의학 명명된 실체 인식 벤치마크에서 평균 F1 스코어가 2.54점 향상되었다.
• 평가된 프랑스어 생물의학 NLP 작업에서 새로운 최고 성능을 확립하였으며, 테스트 환경에서 일반 목적 모델과 전문 모델 모두를 능가하였다.
• 최근의 지속적 사전학습이 성능 저하를 초래한다는 주장에도 불구하고, 본 연구는 이러한 결과가 본질적인 모델 한계가 아니라 잘못된 평가 방법론에 기인할 수 있음을 입증하였다.
• '실체-비-O' 평가 프로토콜을 사용할 경우 DrBERT 모델이 CamemBERT-bio보다 매크로 F1에서 뛰어난 성능을 보였으며, 이는 평가 설계가 모델 순위에 미치는 영향력이 크다는 것을 시사한다.
• 본 연구는 BRATeval의 정확한 일치 및 문자 오프셋을 활용한 표준화된 평가 프로토콜이 공정하고 재현 가능한 벤치마킹을 보장하는 데 중요하다는 점을 강조한다.
• 사전학습 과정에서의 환경 영향은 미미하였으며, 이산화탄소 배출량은 단지 0.84 kg CO2 eq에 그쳐, 비용 효율적이고 지속 가능한 모델 적응 방식임을 시사한다.