[논문 리뷰] Boosting Transformers for Job Expression Extraction and Classification in a Low-Resource Setting

Lukas Lange, Heike Adel외 1명|arXiv (Cornell University)|2021. 09. 17.

Natural Language Processing Techniques참고 문헌 10인용 수 4

한 줄 요약

이 논문은 도메인 및 언어 적응형 미리 훈련, 전략적 데이터 분할, 전이 학습을 적용하여 저자원 스페인어 임상 텍스트에서 직업 표현 추출 및 분류를 위한 다국어 XLM-R 트랜스포머를 강화한다. 최고의 모델은 추출에서 83.2 F1, 분류에서 79.3 F1을 기록했으며, 앙상블 방법과 언어별 적응을 통해 피니튜닝된 XLM-R보다 최대 5.3 F1 포인트 향상시켰다.

ABSTRACT

In this paper, we explore possible improvements of transformer models in a low-resource setting. In particular, we present our approaches to tackle the first two of three subtasks of the MEDDOPROF competition, i.e., the extraction and classification of job expressions in Spanish clinical texts. As neither language nor domain experts, we experiment with the multilingual XLM-R transformer model and tackle these low-resource information extraction tasks as sequence-labeling problems. We explore domain- and language-adaptive pretraining, transfer learning and strategic datasplits to boost the transformer model. Our results show strong improvements using these methods by up to 5.3 F1 points compared to a fine-tuned XLM-R model. Our best models achieve 83.2 and 79.3 F1 for the first two tasks, respectively.

연구 동기 및 목표

• 영어 중심의 NLP 모델에 비해 언어와 도메인이 비표준인 스페인어 임상 텍스트에서 저자원 정보 추출 문제를 해결한다.
• 스페인어 임상 언어와 도메인에 맞게 다국어 트랜스포머 모델을 적응시켜 저자원 환경에서의 성능을 향상시킨다.
• 임상 NLP의 시퀀스 레이블링에 대해 도메인 및 언어 적응형 미리 훈련, 전이 학습, 전략적 데이터 분할의 효과성을 조사한다.
• 언어나 도메인 전문 지식에 의존하지 않고 MEDDOPROF 공동 과제에서 직업 표현 추출 및 분류 과제에서 최신 기술 수준의 성능을 달성한다.
• 전략적으로 분할된 데이터로 훈련된 모델과 관련 작업에서의 전이 학습이 저자원 임상 NER 과제에서 성능을 크게 향상시킬 수 있음을 보여준다.

제안 방법

• 도메인 및 언어 적응형 미리 훈련을 위해 마스크된 언어 모델링(MLM)을 사용하여 스페인어 임상 텍스트에 대해 다국어 XLM-R 모델을 피니튜닝한다.
• 표준 XLM-R, 임상 전용 XLM-R, 일반 도메인 스페인어 XLM-R의 세 가지 변형을 훈련하여 언어 및 도메인 적응 효과를 탐색한다.
• 유사도 기반 문서 클러스터링을 통해 전략적 데이터 분할을 구현하여 교차 검증에 적합한 다양한 정보를 담은 훈련 세트를 생성한다.
• 먼저 한 작업(예: 직업 추출)에서 훈련한 후 두 번째 작업(예: 직업 분류)에서 피니튜닝을 통해 전이 학습을 적용한다.
• 다양한 XLM-R 변형, 전략적 데이터 분할 모델, 전이 학습 모델을 조합하여 앙상블을 구성함으로써 정확도와 견고성을 향상시킨다.
• 서브워드 토크나이저를 spaCy와 함께 사용하여 문장 분할 및 서브토큰 수준에서의 시퀀스 레이블링을 수행하여 NER 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 XLM-R의 도메인 및 언어 적응형 미리 훈련이 스페인어 임상 직업 표현 추출 및 분류 성능에 어떤 영향을 미치는가?
• RQ2 문서 클러스터링을 통해 생성된 전략적 데이터 분할은 저자원 환경에서 모델의 일반화 능력과 F1 점수에 얼마나 기여하는가?
• RQ3 직업 추출(NER)에서 직업 분류로의 전이 학습은 분류 성능을 향상시킬 수 있으며, 어떤 조건에서 효과가 있는가?
• RQ4 다양한 모델 변형과 훈련 전략을 조합한 앙상블 방법은 저자원 임상 NLP 과제에서 단일 모델 피니튜닝에 비해 어떻게 비교되는가?
• RQ5 일반 도메인 스페인어 데이터와 임상 전용 데이터 중 어느 것이 이 저자원 과제의 성능 향상에 더 큰 기여를 하는가?

주요 결과

• 전략적 데이터 분할에 기반한 XLM-R 모델 앙상블을 피니튜닝한 최고의 모델은 83.2 F1을 기록하여 기준 피니튜닝 XLM-R보다 5.3 F1 포인트 높은 성능을 보였다.
• 스페인어 일반 도메인 데이터로 훈련된 모델이 표준 XLM-R와 임상 전용 XLM-R를 모두 초월하여, 일반 도메인 지식이 추출 과제에 유리함을 시사한다.
• 전략적 데이터 분할은 분류 과제에서 앙상블 모델의 성능을 2.3 F1 포인트 향상시켰으며, 모든 모델을 조합한 전체 앙상블(S5)조차도 뛰어넘는 결과를 보여, 다양한 훈련 데이터 분할의 가치를 입증한다.
• 작업 1(추출)에서 작업 2(분류)로의 전이 학습은 최대 2.9 F1 포인트 향상을 가져왔으며, 보조 작업이 관련이 있고 잘 학습된 경우에 효과적임을 보여준다.
• 모든 모델을 조합한 앙상블(S5)은 추출 과제에서 81.4 F1, 분류 과제에서 79.2 F1을 기록하여, 다양한 전략을 조합한 앙상블이 견고성을 향상시킴을 보여준다.
• 전략적 데이터 분할을 적용한 앙상블(S3)의 수정된 결과는 추출 과제에서 81.8 F1, 분류 과제에서 79.3 F1을 기록하여, 의도치 않은 모델 중복을 고려한 상황에서도 이 방법의 효과성이 확인되었다.