[논문 리뷰] Neural Cross-Lingual Named Entity Recognition with Minimal Resources

Jiateng Xie, Zhilin Yang외 3명|arXiv (Cornell University)|2018. 08. 29.

Topic Modeling참고 문헌 47인용 수 12

한 줄 요약

이 논문은 이중어 어휘 임베딩을 사용해 언어 간 어휘 항목을 매핑하고, 자기주의성 주의를 통해 어순 차이를 다루는 다국어 명명된 실체 인식 방법을 제안한다. 이는 스페인어, 네덜란드어, 독일어와 같은 저자원 언어에서 최소한의 자원(심지어 목표 언어에서의 레이블 없음 포함)으로도 최신 기술 수준 또는 경쟁 가능한 성능을 달성한다. 이 방법은 임베딩 기반 번역과 문자 수준의 특징을 조합하여 효과적인 무 supervision 전이를 가능하게 하며, 우이그르어와 같은 저자원 언어로도 적용 가능하다.

ABSTRACT

For languages with no annotated resources, unsupervised transfer of natural language processing models such as named-entity recognition (NER) from resource-rich languages would be an appealing capability. However, differences in words and word order across languages make it a challenging problem. To improve mapping of lexical items across languages, we propose a method that finds translations based on bilingual word embeddings. To improve robustness to word order differences, we propose to use self-attention, which allows for a degree of flexibility with respect to word order. We demonstrate that these methods achieve state-of-the-art or competitive NER performance on commonly tested languages under a cross-lingual setting, with much lower resource requirements than past approaches. We also evaluate the challenges of applying these methods to Uyghur, a low-resource language.

연구 동기 및 목표

• 목표 언어에서 레이블이 전혀 없는 조건에서도 명명된 실체 인식 문제를 해결하는 것.
• 이중어 어휘 임베딩과 최근접 이웃 번역을 통해 원천 언어와 목표 언어 간의 어휘 매핑을 향상시키는 것.
• 어순에 대한 불변성을 갖춘 자기주의성 주의 기반 메커니즘을 통해 언어 간 어순 차이를 완화하는 것.
• 최소한의 외부 자원으로도 무 supervision 다국어 전이에서 높은 NER 성능을 달성하는 것.
• 병행 문장집이나 사전이 부족한 저자원 언어인 우이그르어와 같은 언어에서 이 방법을 평가하는 것.

제안 방법

• 소규모 시드 어휘 사전을 사용해 원천 언어와 목표 언어의 단일어 어휘 임베딩을 공통의 이중어 어휘 임베딩(BWE) 공간으로 투영한다.
• 공통 BWE 공간 내에서 가장 가까운 이웃을 찾는 방식으로 어휘 번역을 수행함으로써 전체 병행 문장집이 없더라도 이산적 번역을 가능하게 한다.
• 번역된 목표 언어 데이터에 대해 신경망 NER 모델을 훈련시키며, 태깅 정확도 향상을 위해 문자 수준의 특징을 유지한다.
• 입력 토큰의 유연한 재정렬을 허용하는 자기주의성 주의 메커니즘을 신경망 아키텍처에 통합하여 어순 차이에 대한 민감도를 낮춘다.
• 공통 임베딩 공간과 주의 메커니즘을 활용하는 공동 훈련 목표를 도입하여 언어 간 일반화 능력을 향상시킨다.
• 이 방법을 무 supervision 설정에서 적용하여 목표 언어에서의 레이블 데이터가 전혀 필요 없도록 한다.

실험 결과

연구 질문

• RQ1 목표 언어에서 레이블 데이터가 전혀 없는 조건에서도 저자원 다국어 NER 시스템을 구축할 수 있는가?
• RQ2 임베딩 기반 번역과 이산적 최근접 이웃 기반 어휘 매핑을 조합한 하이브리드 접근 방식은 얼마나 효과적인가?
• RQ3 자기주의성 주의는 다국어 NER에서 어순의 분리 영향을 어느 정도 완화할 수 있는가?
• RQ4 번역과 임베딩 품질이 열악한 상황에서도, 특히 우이그르어와 같은 극도로 저자원 언어에서 이 방법은 어떻게 성능을 내는가?
• RQ5 기존 방법에 비해 상당히 자원 요구량을 줄였을 때, 제안된 방법이 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 이 방법은 무 supervision 전이 조건에서 스페인어와 네덜란드어에서 최신 기술 수준의 성능을 달성하며, 이전 방법들을 능가한다.
• 독일어에 대해서도 경쟁 가능한 결과를 도출하여, 최소한의 자원으로도 다양한 언어에 대해 강건한 성능을 보여준다.
• 병행 문장집이나 사전이 부족하고 어휘 임베딩 품질이 열악한 저자원 언어인 우이그르어에서도 이 방법은 잘 작동한다.
• BWE 기반 번역과 자기주의성 주의의 조합은 각각을 별도로 사용할 때보다 더 높은 성능을 내며, 특히 저자원 환경에서 두드러진다.
• 적대적 훈련과 동일한 문자열 방법은 우이그르어에서는 실패했으며, 임베딩 품질이 열악하고 스크립트 호환성 문제로 F1 점수가 약 10에 머물렀다.
• 이 방법은 대규모 병행 문장집이나 위키백과 유사 자원에 대한 의존도를 줄여, 진정으로 저자원 언어에 적합한 솔루션을 제공한다.