[논문 리뷰] FactMix: Using a Few Labeled In-domain Examples to Generalize to Cross-domain Named Entity Recognition

Linyi Yang, Lifan Yuan외 3명|arXiv (Cornell University)|2022. 08. 24.

Topic Modeling인용 수 9

한 줄 요약

FactMix는 소수의 레이블이 부여된 도메인 내 예시를 바탕으로 문맥 수준 및 엔티티 수준의 반사적 예시를 생성하는 모델에 종속되지 않는 이단계 데이터 증강 방법을 제안한다. 이는 소수의 샘플로도 도메인 간 Named Entity Recognition (NER) 성능을 크게 향상시키며, 프롬프트 테일링 및 이전의 데이터 증강 기법을 포함한 최신 기법들을 능가한다.

ABSTRACT

Few-shot Named Entity Recognition (NER) is imperative for entity tagging in limited resource domains and thus received proper attention in recent years. Existing approaches for few-shot NER are evaluated mainly under in-domain settings. In contrast, little is known about how these inherently faithful models perform in cross-domain NER using a few labeled in-domain examples. This paper proposes a two-step rationale-centric data augmentation method to improve the model's generalization ability. Results on several datasets show that our model-agnostic method significantly improves the performance of cross-domain NER tasks compared to previous state-of-the-art methods, including the data augmentation and prompt-tuning methods. Our codes are available at https://github.com/lifan-yuan/FactMix.

연구 동기 및 목표

• 도메인 외 환경으로의 전이 시 낮은 일반화 능력을 보이는 소수의 샘플로도 도메인 간 Named Entity Recognition (NER) 성능을 크게 향상시키며, 프롬프트 테일링 및 이전의 데이터 증강 기법을 포함한 최신 기법들을 능가한다.
• 도메인 간 전이를 방해하는 비엔티티 토큰과 엔티티 레이블 간의 우연한 상관관계를 완화하기 위해.
• 소수의 레이블이 부여된 도메인 내 예시만을 사용하여 모델의 일반화 능력을 향상시키는 데이터 증강 방법을 개발하기 위해.
• 피팅 및 프롬프트 테일링 설정 모두에 효과적인 모델에 종속되지 않는 프레임워크를 만들기 위해.
• 반사적 데이터에서 유도된 대조 예제를 활용하여 레이블 의존성의 인과적 이해를 향상시키기 위해.

제안 방법

• FactMix는 비엔티티 토큰을 마스킹하고, 마스킹 언어 모델의 예측 결과로 대체함으로써 문맥 수준의 반사적 예시를 생성한다.
• 엔티티 언급을 동일한 유형의 다른 엔티티로 대체하면서 문맥 구조를 유지함으로써 엔티티 수준의 반사적 예시를 생성한다.
• 이 두 유형의 증강 예시를 이단계 대조 학습 프레임워크에 통합하여 모델의 강건성을 향상시킨다.
• 이 방법은 모델에 종속되지 않으며, 피팅 및 프롬프트 테일링 설정 모두에 적용 가능하다.
• 동의어 치환과 마스킹 언어 모델링을 활용하여 다양한, 의미적으로 타당한 학습 인스턴스를 생성한다.
• 증강 과정은 문맥 및 엔티티 내용에 대한 통제된 변형을 도입하여 우연한 토큰-레이블 상관관계에 대한 의존도를 감소시키도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 소수의 레이블이 부여된 도메인 내 예시를 활용하여 도메인 간 NER 일반화 능력을 향상시킬 수 있는가?
• RQ2 반사적 예시를 활용한 대조 학습이 도메인 간 모델 일반화에 어떤 영향을 미치는가?
• RQ3 문맥 수준 및 엔티티 수준의 데이터 증강이 NER 모델의 우연한 상관관계를 감소시키는가?
• RQ4 저자원 도메인 간 설정에서 FactMix는 프롬프트 테일링 및 이전의 데이터 증강 기법과 비교해 어떻게 성능을 내는가?
• RQ5 FactMix의 성능을 극대화하기 위해 최적의 학습 예시 수와 증강 비율은 얼마인가?

주요 결과

• 5-shot 프롬프트 테일링 설정에서 CoNLL2003 테스트 세트에서 FactMix는 88.51의 최고 마이크로 F1 스코어를 기록하며, EntLM 및 기타 베이스라인을 능가한다.
• 저오버랩 과학 데이터셋에서 FactMix는 18.62 F1을 기록하며, EntLM 및 기타 방법들을 크게 능가하여 도메인 간 일반화 능력이 뛰어나다는 것을 보여준다.
• 100개의 도메인 내 학습 예시를 사용할 경우, FactMix는 표준 피팅보다 성능을 향상시키며, CoNLL2003에서 4.5% F1까지 Zeng 등(2020)을 능가한다.
• 다양한 증강 비율에 걸쳐 일관된 성능 향상을 유지하며, 비율 1:4 이상에서 최적의 성능를 기록하지만, 1:8를 초과하면 성능 향상 폭이 감소한다.
• FactMix는 피팅 및 프롬프트 테일링 모두에서 안정적인 성능을 유지하며, BERT-large에서도 이전의 데이터 증강 기법들과 달리 성능 저하가 발생하지 않는다.
• 제거 실험 결과, 문맥 수준 및 엔티티 수준의 반사적 생성 모두가 성능 향상에 기여하며, 단일 단계 증강보다 이단계 대조 설정이 더 효과적임을 확인했다.