[논문 리뷰] VTCC-NLP at NL4Opt competition subtask 1: An Ensemble Pre-trained language models for Named Entity Recognition

Xuan-Dung Doan|arXiv (Cornell University)|2022. 12. 14.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 NL4Opt 경쟁 대회 서브태스크 1에서 이름 붙인 실체 인식(NER) 성능을 향상시키기 위해 XLM-R, BART, DeBERTa-V3의 세 개의 사전 훈련된 언어 모델을 평균화한 문맥 임베딩을 통해 앙상블하는 방법을 제시한다. 평균화된 임베딩과 CRF 레이어를 활용하여 테스트 세트에서 92.9%의 F1 스코어를 기록하며 5위를 달성하였다. 이는 다양한 문맥 표현을 활용한 결과로, 다수의 사전 훈련된 모델을 조합함으로써 성능 향상을 이룬 것이다.

ABSTRACT

We propose a combined three pre-trained language models (XLM-R, BART, and DeBERTa-V3) as an empower of contextualized embedding for named entity recognition. Our model achieves a 92.9% F1 score on the test set and ranks 5th on the leaderboard at NL4Opt competition subtask 1.

연구 동기 및 목표

• 저자원 및 교차 도메인 텍스트에서 사전 훈련된 언어 모델을 활용해 이름 붙인 실체 인식(NER) 성능을 향상시키기 위해.
• 다양한 사전 훈련된 모델을 조합하여 NER에서 향상된 문맥 표현을 도출하는 데 효과적인지 조사하기 위해.
• 다양한 도메인에서 평탄한 NER 작업에서 앙상블 방법이 개별 모델보다 우수한 성능을 내는지 탐색하기 위해.
• ELMo 및 GCN와 같은 보조 구성 요소가 앙상블 모델의 성능에 미치는 영향을 평가하기 위해.
• 다양한 모델을 조합한 강력한 앙상블 접근 방식을 통해 NL4Opt 경쟁 서브태스크 1의 테스트 세트에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 모델은 동일한 입력 문장을 처리하기 위해 세 개의 사전 훈련된 언어 모델—XLM-R, BART, DeBERTa-V3—을 사용하여 문맥 임베딩을 생성한다.
• 각 모델에 맞는 서브워드 토크나이저를 선택하고, 최소 시퀀스 길이를 가진 표현을 사용하여 모델 간 일관성을 확보한다.
• 세 모델의 문맥 임베딩을 평균화하여 통합 표현을 형성한다: $ V = \frac{1}{3}(V_1 + V_2 + V_3) $, 여기서 $ V_1, V_2, V_3 $ 는 각각 BART, XLM-R, DeBERTa-V3의 출력이다.
• 평균화된 임베딩은 선형 체인 조건부 랜덤 필드(CRF) 레이어를 통과하여 구조적 예측을 통해 BIO 태그 시퀀스를 예측한다.
• CRF 레이어는 전이 점수와 방출 점수를 사용하여 조건부 확률 $ p_{\theta}(y|\hat{x}) $ 를 계산하며, 음의 로그우도 손실을 최적화한다.
• 모델 선택은 개발 세트에서 가장 높은 F1 스코어를 기록한 모델을 기준으로 하며, 매 에포크마다 체크포인트를 저장하고 추론에 사용할 최상의 성능 모델을 선택한다.

실험 결과

연구 질문

• RQ1 서브워드 임베딩 평균화를 통해 다수의 사전 훈련된 언어 모델을 조합하면 교차 도메인 및 저자원 텍스트에서 NER 성능을 향상시킬 수 있는가?
• RQ2 XLM-R, BART, DeBERTa-V3의 앙상블는 개별 모델 대비 F1 스코어와 도메인 간 견고성 측면에서 어떻게 비교되는가?
• RQ3 ELMo 또는 GCN 기반 특징 통합이 NL4Opt 데이터셋에서 앙상블 모델의 성능을 향상시키는가?
• RQ4 새로운 도메인(예: 교통, 생산, 과학 등)에서 테스트했을 때 앙상블 방법이 성능을 유지하거나 향상시키는 정도는 어느 정도인가?
• RQ5 다양한 사전 훈련된 모델에서 평균화된 문맥 임베딩과 함께 CRF 레이어가 시퀀스 수준의 예측을 개선하는 데 효과적인가?

주요 결과

• XLM-R, BART, DeBERTa-V3를 임베딩 평균화 방식으로 조합한 앙상블 모델은 NL4Opt 경쟁 테스트 세트에서 92.9%의 F1 스코어를 기록하였다.
• 개발 세트에서 앙상블 모델는 모든 개별 모델보다 뛰어난 성능을 보이며, 다양한 사전 훈련된 표현을 조합함으로써 성능 향상의 이점을 입증하였다.
• ELMo의 사용은 베이스라인 모델의 성능을 향상시켰지만, 앙상블 모델에 적용했을 때 정확도가 떨어지는 것으로 나타나 상호 간 간섭이 발생할 수 있음을 시사하였다.
• 의존성 파싱에 영감을 얻은 GCN 통합 역시 베이스라인에서는 성능 향상을 보였지만, 앙상블 모델에서는 성능 저하를 초래하여 앙상블 전략과의 호환성 부족을 시사하였다.
• 최종 모델는 NL4Opt 경쟁 랭킹에서 5위를 기록하며, 교차 도메인 NER 작업에서 앙상블 접근 방식의 효과성을 확인하였다.
• 학습은 50 에포크 후 최적의 성능을 기록하였으며, 학습률 1e-4와 그래디언트 누적 4를 사용하고, 단일 40GB A100 GPU에서 실행되었다.