[논문 리뷰] Single-/Multi-Source Cross-Lingual NER via Teacher-Student Learning on Unlabeled Data in Target Language

Qianhui Wu, Zijia Lin외 3명|arXiv (Cornell University)|2020. 04. 26.

Topic Modeling참고 문헌 30인용 수 12

한 줄 요약

이 논문은 레이블이 없는 소스 데이터를 요구하지 않고, 다국어 BERT와 소프트 레이블 감독을 활용하여 단일 및 다중 소스 다국어 NER를 위한 교사-학생 정련 프레임워크를 제안한다. 이 방법은 레이블이 없는 대상 언어 데이터를 활용하여 소스 언어 모델에서 학생 모델로 지식을 효과적으로 전이함으로써, 다중 소스 설정에서 언어 유사도 기반 가중치 메커니즘을 통해 성능을 향상시키며, 기존 최고 성능(SOTA) 방법을 능가한다.

ABSTRACT

To better tackle the named entity recognition (NER) problem on languages with little/no labeled data, cross-lingual NER must effectively leverage knowledge learned from source languages with rich labeled data. Previous works on cross-lingual NER are mostly based on label projection with pairwise texts or direct model transfer. However, such methods either are not applicable if the labeled data in the source languages is unavailable, or do not leverage information contained in unlabeled data in the target language. In this paper, we propose a teacher-student learning method to address such limitations, where NER models in the source languages are used as teachers to train a student model on unlabeled data in the target language. The proposed method works for both single-source and multi-source cross-lingual NER. For the latter, we further propose a similarity measuring method to better weight the supervision from different teacher models. Extensive experiments for 3 target languages on benchmark datasets well demonstrate that our method outperforms existing state-of-the-art methods for both single-source and multi-source cross-lingual NER.

연구 동기 및 목표

• 기존 다국어 NER 방법이 레이블이 있는 소스 데이터에 의존하거나 레이블이 없는 대상 언어 데이터를 무시하는 데서 비롯되는 한계를 해결하기 위해.
• 대상 언어에서 레이블이 전혀 없는 저자원 설정에서 효과적인 지식 전이를 가능하게 하기 위해.
• 레이블이 있는 소스 데이터에 의존하지 않고도 레이블이 없는 대상 언어 데이터를 활용하는 방법을 개발하기 위해.
• 다중 소스 다국어 NER를 향상시키기 위해 다수의 교사 모델에서 온 지도의 중요도를 언어 유사도 기반 가중치로 조절하는 메커니즘을 도입하기 위해.
• 소프트 레이블 정련이 하드 레이블이나 직접 모델 전이에 비해 저자원 NER에서 효과적인지 검증하기 위해.

제안 방법

• 다국어 BERT 기반 모델을 사용하여 소스 언어와 대상 언어 양쪽 모두에서 언어에 구애받지 않는 문맥적 표현을 추출한다.
• 事前 학습된 소스 언어 NER 모델이 레이블이 없는 대상 언어 문장의 토큰들에 대해 소프트 레이블 분포(확률 벡터)를 생성한다.
• 이러한 소프트 레이블을 사용하여 가짜 레이블이 부여된 대상 언어 데이터에서 학생 NER 모델을 훈련시킴으로써, 레이블이 없는 소스 데이터가 필요로 하는 지식 정련을 가능하게 한다.
• 다중 소스 NER의 경우, 각 소스 언어와 대상 언어 간의 관련성을 측정하기 위해 언어 식별 기반의 유사도 측정법을 제안하며, 이를 교사 지도의 가중치로 사용한다.
• 유사도 측정법은 문장 임베딩과 언어 식별 분류기로 계산되며, 표준적인 코사인 거리나 ℓ₂ 거리와 같은 지표를 대체한다.
• 가짜 레이블이 부여된 대상 언어 데이터에서 교 cross-entropy 손실을 사용하여 전체 프로세스를 엔드 투 엔드로 훈련하며, 소프트 레이블이 하드 레이블보다 더 풍부한 감독 정보를 제공한다.

실험 결과

연구 질문

• RQ1 소스 언어에서 레이블이 없는 데이터를 사용하지 않고도 소스 언어 NER 모델에서 대상 언어 학생 모델로 지식을 효과적으로 전이할 수 있는가?
• RQ2 레이블이 없는 대상 언어 데이터에 대해 교사 모델의 소프트 레이블을 사용할 경우, 하드 레이블이나 직접 모델 전이에 비해 NER 성능이 어떻게 향상되는가?
• RQ3 언어 식별 기반의 언어 유사도 측정법이 여러 소스 언어에서 온 지도의 중요도를 더 잘 조절함으로써 다중 소스 다국어 NER 성능을 향상시킬 수 있는가?
• RQ4 제안된 방법이 단일 소스 및 다중 소스 다국어 NER 설정에서 모두 기존 최고 성능(SOTA) 방법을 능가하는가?
• RQ5 왜 교사-학생 학습이 저신뢰도 영역에서 소스 모델이 잘못 예측한 것을 수정하는가?

주요 결과

• 제안된 방법은 3개의 대상 언어(es, nl, de)에 대해 벤치마크 데이터셋에서 SOTA 성능을 달성하였으며, 단일 소스 및 다중 소스 설정 모두에서 기존 방법을 능가한다.
• 하드 레이블 대비 소프트 레이블 사용 시 일관된 F1 점수 향상이 관찰되었으며, 하드 레이블 사용 시 최대 1.46 F1 점수 하락이 발생했다.
• 직접 모델 전이(MT-*)는 제안된 정련 방법에 비해 성능이 뚜렷이 열 劣하므로, 레이블이 없는 대상 언어 데이터를 활용하는 것이 유의미한 이점을 제공한다는 점을 입증한다.
• 제안된 언어 유사도 측정법을 코사인 거리나 ℓ₂ 거리로 대체할 경우, 모든 대상 언어에서 일관된 성능 저하가 발생하여 그 효과성을 입증한다.
• 교사 모델이 낮은 신뢰도로 잘못 예측한 예측을 더 높은 비율로 수정함으로써, 학생 모델이 더 나은 결정 경계 학습을 이룬다는 점을 시사한다.
• 사례 연구 결과, 학생 모델이 가짜 레이블이 많은 대상 언어 데이터에서 높은 확률로 예측하는 특정 단어들(예: 'EFE'를 ORG로 예측)의 레이블 선호도를 학습함으로써, 모호한 토큰에 대한 강건성을 향상시킨다.