[논문 리뷰] AdvPicker: Effectively Leveraging Unlabeled Data via Adversarial Discriminator for Cross-Lingual NER

Weile Chen, Huiqiang Jiang외 3명|arXiv (Cornell University)|2021. 06. 04.

Topic Modeling참고 문헌 35인용 수 4

한 줄 요약

AdvPicker는 번역 모델이나 지도어보리어리와 같은 외부 자원을 필요로 하지 않고, 언어에 관계없이 고품질의 가짜 레이블이 부여된 예제를 식별하기 위해 판별기 모델을 훈련시켜 비어 있는 타겟 언어 데이터를 활용하는 새로운 적대적 데이터 선택 프레임워크를 제안한다. 적대적 훈련과 지식 정복을 결합함으로써, 외부 자원 없이도 최신 기술 수준(SOTA)을 초월한다.

ABSTRACT

Neural methods have been shown to achieve high performance in Named Entity Recognition (NER), but rely on costly high-quality labeled data for training, which is not always available across languages. While previous works have shown that unlabeled data in a target language can be used to improve cross-lingual model performance, we propose a novel adversarial approach (AdvPicker) to better leverage such data and further improve results. We design an adversarial learning framework in which an encoder learns entity domain knowledge from labeled source-language data and better shared features are captured via adversarial training - where a discriminator selects less language-dependent target-language data via similarity to the source language. Experimental results on standard benchmark datasets well demonstrate that the proposed method benefits strongly from this data selection process and outperforms existing state-of-the-art methods; without requiring any additional external resources (e.g., gazetteers or via machine translation). The code is available at https://aka.ms/AdvPicker

연구 동기 및 목표

• 저자원 언어에서의 저자원 명명된 실체 인식 문제를 해결하기 위해 비정답 타겟 언어 데이터를 활용한다.
• 기존의 가짜 레이블링 방법이 모든 가짜 레이블 데이터가 유용하다고 가정하는 데서 비롯되는 한계를 극복한다. 이는 노이즈와 언어 특화 편향을 유발할 수 있다.
• 적대적 학습을 통해 언어에 관계없는 고품질의 가짜 레이블 예제만을 선택함으로써 다국어 전이 성능을 향상시킨다.
• 기계 번역이나 병렬 코퍼스와 같은 비용이 많이 드는 외부 자원에 의존하지 않고도 특징 기반 접근과 가짜 레이블링 접근을 통합하는 방법을 개발한다.

제안 방법

• 토큰 수준의 적대적 훈련을 통해 언어에 관계없는 표현을 학습하는 소스 언어 NER 모델(mBERT)을 훈련한다.
• 소스 언어와 타겟 언어의 토큰 수준 표현을 구분하는 언어 판별기를 훈련시어, 인코더가 언어 특화 특징을 최소화하도록 유도한다.
• 사전 훈련된 인코더를 사용해 비정답 타겟 언어 데이터에 대해 가짜 레이블을 생성한다.
• 훈련된 판별기를 적용하여 타겟 언어에서 가장 언어에 관계없는(즉, 소스에 유사한) 가짜 레이블 예제만 선택한다.
• 선택된 고품질의 가짜 레이블 데이터를 기반으로 최종 타겟 언어 NER 모델을 지식 정복을 통해 훈련시킨다.
• 학생 모델이 다양한 랜덤 시드를 가진 여러 교사 모델의 예측을 기반으로 훈련되는 소프트 레이블 정복 전략을 사용하여 안정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 적대적 훈련이 다국어 NER에서 비정답 타겟 언어 데이터로부터 언어에 관계없고 고품질의 가짜 레이블 예제를 효과적으로 식별할 수 있는가?
• RQ2 모든 가짜 레이블 예제를 사용하는 것과 비교해 언어에 관계없는 가짜 레이블 예제만 선택하는 것이 모델의 일반화 능력과 성능을 향상시키는가?
• RQ3 제안된 방법이 번역 모델이나 지도어보리어리와 같은 외부 자원 없이도 제로샷 다국어 NER에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 적대적 데이터 선택 메커니즘이 다양한 랜덤 시드 간의 모델 안정성과 강건성에 어떤 영향을 미치는가?

주요 결과

• AdvPicker는 표준 벤치마크 데이터셋에서 세 가지 타겟 언어(독일어, 스페인어, 네덜란드어)에서 새로운 최신 기술 수준(F1 점수)을 달성했으며, 이는 이전 최신 기술 수준 방법보다 최대 1.5~2.0 F1 포인트의 향상이다.
• 언어에 관계없는 데이터의 평균 F1 점수는 언어 특화 데이터보다 12.87 포인트 높으며, 이는 선택된 예제의 품질을 확인한다.
• '기타'(선택되지 않은) 데이터 분할에서도 AdvPicker는 모든 베이스라인을 앞서며, 선택된 데이터 분포를 초월해 잘 일반화됨을 시사한다.
• 절단 실험 결과, 선택된 데이터에 대해 지식 정복을 적용하면 성능 향상이 뚜렷하게 나타나며, 모든 가짜 레이블 데이터를 사용할 경우 성능 저하가 발생함을 확인하여 선택적 데이터 사용의 중요성을 입증한다.
• mBERT-ft와 UniTrans에 비해 AdvPicker는 다섯 개의 랜덤 시드에 걸쳐 F1 점수의 표준편차가 더 낮아 훈련 안정성이 향상됨을 보였다.
• 모든 타겟 언어에서 일관된 향상이 이루어졌으며, 더 큰 데이터셋(예: 독일어 및 네덜란드어)에서 더 큰 성과 향상을 보여, 보다 자원이 많은 타겟 언어로의 확장 가능성도 확인된다.