[논문 리뷰] Sharing Network Parameters for Crosslingual Named Entity Recognition.

Rudramurthy, Mitesh M. Khapra외 1명|arXiv (Cornell University)|2016. 07. 01.

Topic Modeling참고 문헌 28인용 수 8

한 줄 요약

이 논문은 자원이 풍부한 언어(L₂)와 자원이 부족한 언어(L₁) 간에 단어, 문자, 디코더 파rameter를 공유하는 신경망 모델을 제안한다. 이를 통해 L₁ 언어는 수많은 애너테이션 데이터를 보유한 L₂ 언어의 정보를 수동으로 설계한 특징 없이도 유용하게 활용할 수 있다. 이 방법은 양 언어를 함께 훈련시음으로써 자원이 부족한 환경에서 NER 성능을 크게 향상시키며, 제한된 L₁ 데이터로만 훈련된 모델보다 뛰어난 성능을 보인다.

ABSTRACT

Most state of the art approaches for Named Entity Recognition rely on hand crafted features and annotated corpora. Recently Neural network based models have been proposed which do not require handcrafted features but still require annotated corpora. However, such annotated corpora may not be available for many languages. In this paper, we propose a neural network based model which allows sharing the decoder as well as word and character level parameters between two languages thereby allowing a resource fortunate language to aid a resource deprived language. Specifically, we focus on the case when limited annotated corpora is available in one language ($L_1$) and abundant annotated corpora is available in another language ($L_2$). Sharing the network architecture and parameters between $L_1$ and $L_2$ leads to improved performance in $L_1$. Further, our approach does not require any hand crafted features but instead directly learns meaningful feature representations from the training data itself. We experiment with 4 language pairs and show that indeed in a resource constrained setup (lesser annotated corpora), a model jointly trained with data from another language performs better than a model trained only on the limited corpora in one language.

연구 동기 및 목표

• 자원이 부족한 언어에서 명명된 엔터티 인식을 위한 애너테이션 데이터가 부족한 문제를 해결하기 위해.
• 수동으로 설계한 특징에 의존하지 않고 데이터에서 직접 표현을 학습함으로써 이를 제거하기 위해.
• 자원이 풍부한 언어에서의 풍부한 애너테이션 데이터를 활용하여 자원이 부족한 언어에서의 NER 성능을 향상시키기 위해.
• 단어, 문자, 디코더 수준에서 지식을 전이할 수 있는 파라미터 공유 메커니즘을 설계하기 위해.

제안 방법

• 두 언어 모두에 동일한 신경망 아키텍처를 사용하며, 언어 간에 단어 및 문자 수준의 임베딩을 고정한다.
• 디코더 레이어를 언어 간에 공유하여 명명된 엔터티 태그를 함께 예측할 수 있도록 한다.
• 단어 및 문자 표현을 언어 간에 공동으로 학습함으로써 언어적 패턴의 전이를 가능하게 한다.
• 일반화 성능 향상을 위해 L₁(자원이 부족한 언어) 및 L₂(자원이 풍부한 언어)의 코퍼스를 함께 훈련한다.
• 수동으로 설계한 특징을 사용하지 않으며, 모든 표현은 원시 텍스트에서 엔드 투 엔드로 학습된다.
• 자원이 풍부한 언어의 데이터를 활용하여 자원이 부족한 언어의 성능을 향상시킴으로써 제로샷 또는 피처 샘플이 적은 전이 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 언어 간에 네트워크 파라미터를 공유하면 자원이 부족한 환경에서 명명된 엔터티 인식 성능이 향상되는가?
• RQ2 자원이 풍부한 언어와 자원이 부족한 언어를 함께 훈련하면 자원이 부족한 언어에서만 훈련한 경우보다 성능이 더 좋은가?
• RQ3 수동으로 설계한 특징 없이도 신경망 모델이 효과적인 다국어 표현을 학습할 수 있는가?
• RQ4 단어, 문자, 디코더 수준에서의 파라미터 공유가 NER에서 전이 학습을 얼마나 향상시키는가?
• RQ5 다양한 언어 간의 언어적 거리에 따라 모델은 어떤 성능을 보이는가?

주요 결과

• 자원이 부족한 언어에서 자원이 풍부한 언어의 데이터와 함께 훈련함으로써 성능 향상을 달성하였으며, 제한된 L₁ 코퍼스로만 훈련된 모델보다 뛰어난 성능을 보였다.
• 단어, 문자, 디코더 수준에서의 파라미터 공유가 자원이 풍부한 언어에서 자원이 부족한 언어로 지식을 효과적으로 전이시켰다.
• 수동으로 설계한 특징이 필요 없어졌으며, 의미 있는 표현을 엔드 투 엔드로 학습하는 데 의존하였다.
• 4개의 언어 조합에 대한 실험을 통해 자원이 부족한 환경에서 일관된 성능 향상을 입증하였다.
• 다양한 언어 조합에서의 우수한 성능을 보이며, 다국어 전이 메커니즘의 일반화 능력을 입증하였다.