[논문 리뷰] Transformer-Based Named Entity Recognition for French Using Adversarial Adaptation to Similar Domain Corpora

Arjun Choudhry, Pankaj Gupta외 5명|arXiv (Cornell University)|2022. 12. 05.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 저자원 NER 작업에서 성능을 향상시키기 위해 적대적 적응을 활용하는 트랜스포머 기반 프랑스어 명명된 실체 인식(NER) 프레임워크를 제안한다. 레이블이 부여된 소스 데이터셋에서 프랑스어 언어 모델을 미세조정하고, 유사 도메인 또는 혼합 도메인의 대규모 비라벨링 코퍼스를 적대적 훈련을 통해 적응시킴으로써, 더 작은 모델인 CamemBERT-Wiki-4GB가 적절히 적응된 경우 더 큰 모델을 능가하거나 이를 능가하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Named Entity Recognition (NER) involves the identification and classification of named entities in unstructured text into predefined classes. NER in languages with limited resources, like French, is still an open problem due to the lack of large, robust, labelled datasets. In this paper, we propose a transformer-based NER approach for French using adversarial adaptation to similar domain or general corpora for improved feature extraction and better generalization. We evaluate our approach on three labelled datasets and show that our adaptation framework outperforms the corresponding non-adaptive models for various combinations of transformer models, source datasets and target corpora.

연구 동기 및 목표

• 프랑스어와 같은 저자원 언어에서 레이블이 부여된 NER 데이터셋이 제한된 문제에 대응하기 위해.
• 적대적 도메인 적응을 통해 프랑스어 NER 모델의 일반화 능력을 향상시키고 과적합을 줄이기 위해.
• 더 작은 도메인 적응형 언어 모델이 NER 성능에서 더 큰 사전 훈련 모델을 따라하거나 능가할 수 있는지 평가하기 위해.
• 목표 코퍼스의 도메인 유사성이 모델의 일반화 능력과 성능에 미치는 영향을 조사하기 위해.

제안 방법

• 프레임워크는 레이블이 부여된 소스 데이터와 비라벨링 목표 코퍼스 간의 특징을 정렬하기 위해 도메인 구분자(discriminator)를 사용하며, 도메인 불변 표현을 장려한다.
• 적대적 적응은 NER 분류 손실과 적대적 도메인 손실을 조합한 총 손실 함수를 통해 구현되며, 최적의 균형을 위해 하이퍼파ram터 α=2를 사용한다.
• 세 가지 프랑스어 언어 모델—CamemBERT-base, CamemBERT-Wiki-4GB, FlauBERT-base—이 레이블이 부여된 소스 데이터셋에서 미세조정되고, 유사 도메인 또는 혼합 도메인의 비라벨링 목표 코퍼스로 적응된다.
• 목표 코퍼스에는 WikiNER, WikiNeural, 그리고 Leipzig Mixed-French(Mixed-Fr)가 포함되어 있어 도메인 유사성 수준에 따라 평가가 가능하다.
• 모든 데이터셋 간 일관된 시퀀스 레이블링을 위해 NER 태그는 IOB 형식으로 변환된다.
• 도메인 분류기는 소스 도메인과 목표 도메인의 특징를 구분하도록 훈련되며, 특징 추출기는 이를 속이도록 훈련되어, 불변 특징 학습을 촉진한다.

실험 결과

연구 질문

• RQ1 비라벨링 유사 도메인 코퍼스에 대한 적대적 적응이 저자원 프랑스어 데이터셋의 NER 성능을 향상시킬 수 있는가?
• RQ2 더 작은 도메인 특화 언어 모델(예: CamemBERT-Wiki-4GB)을 대규모 비라벨링 코퍼스로 적응시키면 CamemBERT-base와 같은 더 큰 모델과 비교해 성능이 유사하거나 뛰어나게 되는가?
• RQ3 소스 코퍼스와 목표 코퍼스 간 도메인 유사성이 모델의 일반화 능력과 성능에 어떤 영향을 미치는가?
• RQ4 혼합 도메인 코퍼스를 목표로 삼아 적응시키면 도메인 불일치 코퍼스를 사용할 경우보다 더 높은 성능을 얻을 수 있는가?

주요 결과

• 적대적 적응은 모든 모델 및 데이터셋 조합에서 F1 점수를 일관되게 향상시켰으며, 비적응 기반 모델보다 뛰어난 성능을 보였다.
• CamemBERT-Wiki-4GB가 WikiNeural 코퍼스에 적응된 경우, WikiNER 데이터셋에서 F1 점수 0.969를 기록하여 비적응 CamemBERT-base 모델을 능가했다.
• 동일 도메인 목표 코퍼스(예: WikiNER에서 WikiNeural로의 적응)에 적응한 모델는 혼합 도메인 코퍼스에 적응한 모델보다 동일하거나 略적으로 높은 성능을 보였다.
• Europeana 코퍼스를 혼합 도메인 Mixed-Fr 코퍼스로 적응시킨 결과 F1 점수 0.701을 기록했으며, 이는 도메인 불일치 코퍼스에 적응시킨 경우(F1=0.682)보다 유의미하게 높았다.
• FlauBERT-base 모델은 WikiNeural 소스에서 Mixed-Fr로 적응했을 때 F1 점수 0.973을 기록하여 혼합 도메인 적응에서 강력한 일반화 능력을 보였다.
• 제안된 방법은 적절히 적응된 경우 더 작은 효율적인 모델이 더 큰 모델의 성능을 따라하거나 능가할 수 있도록 하여 대규모 사전 훈련에 대한 의존도를 감소시킨다.