[논문 리뷰] Data Augmentation for Low-Resource Named Entity Recognition Using Backtranslation

Usama Yaseen, Stefan Langer|arXiv (Cornell University)|2021. 08. 26.

Topic Modeling참고 문헌 38인용 수 10

한 줄 요약

이 논문은 저자원 영역의 명명된 실체 인식(NER)을 위한 데이터 증강 기법으로 백번역(backtranslation)을 제안한다. 이는 원본 텍스트를 대상 언어로 번역하고 다시 원래 언어로 번역하여 어휘적으로 다양하면서도 의미가 유지되는 합성 문장을 생성한다. 생물의학(S800) 및 재료 과학(MaSciP) 데이터셋에서의 실험 결과, 백번역은 특히 훈련 데이터가 제한된 경우에 NER 성능을 크게 향상시키며, 히우리스틱 및 생성 기반 기준선보다 F1 점수와 유니그램 다양성 측면에서 뛰어나다.

ABSTRACT

The state of art natural language processing systems relies on sizable training datasets to achieve high performance. Lack of such datasets in the specialized low resource domains lead to suboptimal performance. In this work, we adapt backtranslation to generate high quality and linguistically diverse synthetic data for low-resource named entity recognition. We perform experiments on two datasets from the materials science (MaSciP) and biomedical domains (S800). The empirical results demonstrate the effectiveness of our proposed augmentation strategy, particularly in the low-resource scenario.

연구 동기 및 목표

• 전문가가 주석을 달아야 하는 데이터가 부족하고 수집에 비용이 많이 드는 생물의학 및 재료 과학과 같은 저자원 도메인에서 NER 성능이 열 劣한 문제를 해결하기 위해.
• 언어 자원 의존, 문법적 비일관성, 언어적 다양성 부족 등의 문제로 인해 기존의 시퀀스 레이블링을 위한 데이터 증강 방법의 한계를 극복하기 위해.
• 의존성 파서나 WordNet을 필요로 하지 않고도 고품질의 언어적으로 다양하게 구성된 합성 훈련 데이터를 생성할 수 있는 데이터 증강 전략을 개발하기 위해.
• 저자원 환경에서 NER에 대해 백번역의 효과성을 입증하기 위해, 특히 훈련 데이터가 제한된 경우에 초점을 맞추어.
• 도메인 특화 NER 데이터셋에서 방법을 평가하여 다양한 전문 과학 분야로의 일반화 능력을 입증하기 위해.

제안 방법

• 원본 문장을 대상 언어로 번역하고 다시 원래 언어로 번역하는 방식으로 백번역을 적용하며, 원래의 실체 레이블을 유지한다 (예: 영어 → 독일어 → 영어).
• 백번역을 문장의 일부분에만 적용하기 위해, 베타 분포를 사용해 번역할 문장 조각의 비율을 결정한다.
• 고품질 번역을 위해 사전 훈련된 다국어 트랜스포머 모델(예: 페이스북의 WMT19 영어-독일어 모델)을 양방향으로 사용한다.
• 원본 문장을 백번역된 버전으로 대체하면서 원래의 NER 주석을 유지함으로써 합성 훈련 예제를 생성한다.
• GloVe 또는 SciBERT 임베딩을 사용하여 원본 데이터와 증강된 데이터를 함께 토대로 BiLSTM-CRF 모델을 미세조정한다.
• 초기화된 하이퍼파라미터를 위해 그리드 서치를 수행한다: 각 인스턴스당 증강 샘플 수(1–10)와 문단 선택 확률 기준(0.1–0.7)

실험 결과

연구 질문

• RQ1 백번역은 외부 언어 자원에 의존하지 않고도 저자원 NER를 위한 고품질이고 언어적으로 다양한 합성 데이터를 효과적으로 생성할 수 있는가?
• RQ2 규칙 기반 및 생성 기반 데이터 증강 방법과 비교할 때, 백번역은 저자원 환경에서 NER 성능 향상에 얼마나 효과적인가?
• RQ3 훈련 데이터 크기가 증가함에 따라 백번역의 성능 향상 효과가 감소하는가? 만약 그렇다면 어느 규모에서 감소하는가?
• RQ4 유니그램 수준의 다양성(예: distinct-1)으로 측정했을 때, 백번역은 생성된 문장의 다양성을 얼마나 향상시키는가?
• RQ5 도메인 특화 컨텍스트 임베딩(예: SciBERT)을 사용할 경우, 비컨텍스트 임베딩 대비 백번역의 상대적 이점은 어떻게 달라지는가?

주요 결과

• 백번역은 S800 및 MaSciP 데이터셋 전반에서 평균 F1 점수 향상이 가장 높았으며, 특히 저자원 환경에서 가장 뛰어난 성능을 보였다. 모든 기준선 증강 기법보다 뛰어났다.
• S800 데이터셋에서, 훈련 데이터의 10%만 사용했을 경우 백번역이 기준선 대비 최대 4.2%p의 F1 점수 향상을 기록했으며, 저자원 설정에서 가장 큰 성과를 보였다.
• 백번역은 모든 방법 중에서 가장 높은 유니그램 다양성(Distinct-1)을 기록하여, 의미와 레이블 일관성을 유지하면서도 언어적으로 다양한 어색한 표현을 생성할 수 있음을 확인했다.
• 데이터 증강의 성능 향상 효과는 훈련 세트 크기가 증가함에 따라 감소했으며, 일부 증강 방법은 전체 훈련 세트에서 성능이 떨어지기도 했는데, 이는 과적합 또는 노이즈 주입의 가능성을 시사한다.
• SciBERT 임베딩을 사용할 경우, GloVe 대비 평균 F1 향상 폭이 낮아 증강의 상대적 이점이 감소하는 것으로 나타났다. 이는 사전 훈련된 도메인 특화 모델이 이미 충분한 정보를 포함하고 있어 증강의 효과가 상대적으로 줄어들 수 있음을 의미한다.
• 백번역의 최적 하이퍼파라미터 설정은 각 원본 인스턴스당 2–3개의 증강 샘플을 생성하고, 문단 선택 확률을 0.3–0.5로 설정하는 것이었으며, 이는 개발 세트에서의 그리드 서치를 통해 도출되었다.