[논문 리뷰] An Analysis of Simple Data Augmentation for Named Entity Recognition

Xiang Dai, Heike Adel|arXiv (Cornell University)|2020. 10. 22.

Topic Modeling참고 문헌 37인용 수 9

한 줄 요약

이 논문은 명시적 개체 인식(NER) — 토큰 수준의 시퀀스 레이블링 작업 — 에 대한 단순한 데이터 증강 기법을 조사한다. 이는 동의어 교체, 언급어 교체, 단어 재배열 등의 방법을 활용하여 개체 레이블을 유지하도록 적응시킨다. 생물의학 및 재료 과학 데이터셋에서의 실험 결과, 이러한 기법들이 성능을 크게 향상시킴을 보여주며, 특히 작은 학습 세트에서 4.4점의 F1 점수 향상을 기록했다. 이는 강력한 BERT 기반 기준 모델을 초월한 성과이다.

ABSTRACT

Simple yet effective data augmentation techniques have been proposed for sentence-level and sentence-pair natural language processing tasks. Inspired by these efforts, we design and compare data augmentation for named entity recognition, which is usually modeled as a token-level sequence labeling problem. Through experiments on two data sets from the biomedical and materials science domains (i2b2-2010 and MaSciP), we show that simple augmentation can boost performance for both recurrent and transformer-based models, especially for small training sets.

연구 동기 및 목표

• 생물의학 및 재료 과학과 같은 전문 분야에서 레이블이 부족하고 생산에 비용이 많이 드는 상황에서 저자원 NER 문제를 해결한다.
• 이전에 문장 수준 자연어 처리에서 효과적이었던 단순한 비생성적 데이터 증강 기법이 토큰 수준의 NER 작업에 어떻게 적응될 수 있는지 조사한다.
• 재귀적 모델과 트랜스포머 기반 모델 모두에 다양한 증강 전략의 효과를 평가하며, 특히 자료가 부족한 조건에서의 성능을 분석한다.
• 학습 데이터가 제한된 상황에서 강력한 사전학습된 모델(예: BERT)보다 데이터 증강이 성능 향상에 기여하는지 확인한다.

제안 방법

• 문장 수준 NLP에서 유래한 네 가지 데이터 증강 기법을 NER에 적응시킨다: 동의어 교체, 언급어 교체, 문단 내 단어 재배열, 레이블 별 토큰 교체.
• 원본 개체 레이블을 유지하면서 토큰 수준에서 변환을 적용하여 증강된 인스턴스가 여전히 시퀀스 레이블링에 유효한지 보장한다.
• 동의어 교체에는 WordNet을, 언급어 교체에는 개체 유형 일관성을 활용하여 의미적 및 레이블 유효성을 유지한다.
• 문장의 일부(예: 절이나 어구) 내에서 단어 재배열을 구현하여 레이블을 변경하지 않으면서도 문법적으로 타당한 변형을 생성한다.
• 모든 증강 기법을 하나의 전략으로 통합하여 학습 데이터의 다양성을 높이고, 레이블 일관성 여부를 모니터링한다.
• 증강된 데이터와 원본 데이터를 사용해 양방향 LSTM 및 BERT 기반 모델을 훈련하고, 스파이크 수준의 F1 점수를 사용해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 문장 수준 NLP를 위한 단순한 비생성적 데이터 증강 기법이 토큰 수준의 NER 작업에 효과적으로 적응될 수 있는가?
• RQ2 특히 소규모 학습 세트에서 성능 향상이 가장 큰 데이터 증강 전략은 무엇인가?
• RQ3 여러 증강 기법을 병합하면 단일 방법을 사용할 때보다 더 나은 일반화 성능을 얻을 수 있는가?
• RQ4 강력한 사전학습된 트랜스포머 모델(예: BERT)에 적용했을 때 이러한 증강 기법의 효과는 어떻게 평가할 수 있는가? 특히 사전학습된 모델과 비교했을 때의 성능 차이를 고려한다.
• RQ5 학습 데이터가 50개 또는 150개로 제한된 상황에서 데이터 증강이 성능 저하를 완화하는 데 기여하는가?

주요 결과

• 모든 데이터 증강 기법이 재귀적 모델과 트랜스포머 기반 모델 모두에서 베이스라인 성능을 향상시켰으며, 특히 소규모 학습 세트(예: 50개 인스턴스)에서 가장 뚜렷한 성과 향상이 관찰되었다.
• BERT 기반 모델에서는 동의어 교체가 평균 F1 점수에서 가장 높은 향상(4.4점)을 기록했고, 재귀적 모델에서는 언급어 교체가 가장 효과적이었다.
• 모든 증강 기법을 병합한 전략이 평균 성능을 가장 높였으며, 재귀적 모델에서는 F1 점수를 3.3점 향상시켰고, 트랜스포머 기반 모델에서는 1.8점 향상시켰다.
• 완전한 학습 세트에서 일부 증강 기법은 성능을 약간 떨어뜨렸는데, 이는 증강된 인스턴스의 다양성과 유효성 사이의 상충 관계를 시사한다.
• 성능 향상 폭이 가장 큰 경우는 학습 데이터가 극히 적은 경우였다. 예를 들어, MaSciP 데이터셋에서 50개의 학습 인스턴스만 있을 경우 F1 점수는 최대 4.4점 향상되었다.
• 강력한 BERT 기반 모델조차도 증강 기법으로부터 측정 가능한 성능 향상을 기록했으며, 이는 대규모 사전학습이 이루어진 이후에도 데이터 증강이 여전히 유용함을 시사한다.