[논문 리뷰] Recurrent Neural Network based Part-of-Speech Tagger for Code-Mixed Social Media Text

Raj Nath Patel, Prakash B. Pimpale외 1명|arXiv (Cornell University)|2016. 11. 15.

Natural Language Processing Techniques참고 문헌 34인용 수 9

한 줄 요약

이 논문은 코드 믹스드 인도 소셜 미디어 텍스트(Hindi-English, Bengali-English, Telugu-English)에서 품사 태깅을 위한 GRU 기반 순환 신경망 언어 모델을 제안한다. 사전 훈련과 언어 정체성을 추가 특징으로 통합함으로써, 저자원 언어 쌍에 대해서도 최신 기술 수준의 시스템인 Stanford 및 HunPos와 유사한 F1 스코어를 달성하며, 훈련 데이터가 제한된 상황에서도 뛰어난 성능을 보여준다.

ABSTRACT

This paper describes Centre for Development of Advanced Computing's (CDACM) submission to the shared task-'Tool Contest on POS tagging for Code-Mixed Indian Social Media (Facebook, Twitter, and Whatsapp) Text', collocated with ICON-2016. The shared task was to predict Part of Speech (POS) tag at word level for a given text. The code-mixed text is generated mostly on social media by multilingual users. The presence of the multilingual words, transliterations, and spelling variations make such content linguistically complex. In this paper, we propose an approach to POS tag code-mixed social media text using Recurrent Neural Network Language Model (RNN-LM) architecture. We submitted the results for Hindi-English (hi-en), Bengali-English (bn-en), and Telugu-English (te-en) code-mixed data.

연구 동기 및 목표

• 다국어 혼합, 이국어 표기, 철자 변형 등으로 인해 언어학적으로 복잡한 코드 믹스드 인도 소셜 미디어 텍스트에 대해 강건하고 언어에 관계없이 적용 가능한 품사 태거를 개발하는 것.
• 특히 GRU, LSTM, Simple_RNN와 같은 RNN 아키텍처가 저자원, 코드 믹스드 환경에서 품사 태깅에 얼마나 효과적인지 조사하는 것.
• 사전 훈련과 언어 정체성과 같은 보조 특징이 코드 믹스드 품사 태깅에서 모델의 일반화 능력과 정확도에 미치는 영향을 평가하는 것.
• 공동 벤치마크 데이터를 바탕으로 제안된 RNN 기반 접근법을 Stanford 및 HunPos와 같은 기존 시스템과 비교하는 것.

제안 방법

• 모델는 목표 단어를 중심으로 한 문맥 창(예: 3단어)을 입력으로 사용하고, 출력은 예측된 품사 태그가 되는 수정된 RNN-LM 아키텍처를 사용한다.
• 핵심 아키텍처는 정보 흐름을 제어하고 기울기 소실 문제를 완화하기 위해 업데이트 게이트와 리셋 게이트를 사용하는 게이트드 순환 유닛(GRUs)을 활용한다.
• 각 단어의 언어 정체성이 별도의 특징 벡터로 임베딩되어 단어 임베딩과 연결되어, 유사한 외형을 가진 다른 언어의 단어(예: 히브리어의 'are'와 영어의 'are')를 구분하는 데 도움을 준다.
• 모델는 코드 믹스드 품사 태깅 작업에 대해 미세 조정하기 전에 대규모 단일 언어 코퍼스에서 사전 훈련을 거쳐 일반화 능력을 향상시킨다.
• 단어 임베딩은 훈련 중에 처음부터 학습되며, 최종 출력 레이어는 은닉 상태에서 품사 태그를 예측하기 위해 소프트맥스 함수를 사용한다.
• 세 가지 훈련 설정을 평가한다: 표준 GRU, 사전 훈련이 있는 GRU(GRU_Pre), 사전 훈련과 언어 특징이 있는 GRU(GRU_Pre_Lang).

실험 결과

연구 질문

• RQ1 제한된 훈련 데이터가 있는 상황에서 GRU 기반 RNN 모델이 코드 믹스드 인도 소셜 미디어 텍스트에서 경쟁 가능한 품사 태깅 성능을 달성할 수 있는가?
• RQ2 사전 훈련은 저자원 코드 믹스드 언어 쌍에서 RNN 기반 품사 태거의 성능에 어떤 영향을 미치는가?
• RQ3 언어 정체성을 보조 특징으로 통합하면, 동음이의어(예: 히브리어와 영어에서 모두 'are'로 표기되지만 품사가 다른 단어)를 더 잘 구분할 수 있는가?
• RQ4 다른 RNN 변종(Simple_RNN, LSTM, Deep LSTM, GRU)은 이 코드 믹스드 품사 태깅 작업에서 어떤 성능을 보이는가?
• RQ5 제안된 RNN 모델은 이 공통 작업에서 기존 시스템인 Stanford 및 HunPos와 비교해 어느 정도 성능을 따라하거나 초월하는가?

주요 결과

• GRU_Pre_Lang 모델은 모든 언어 쌍에서 가장 높은 F1 스코어를 기록했으며, hi-en에서 80.92%, bn-en에서 74.05%, te-en에서 74.00%의 F1 스코어를 기록하여 표준 RNN 및 베이스라인 시스템을 모두 앞섰다.
• 사전 훈련은 성능 향상에 크게 기여했으며, GRU_Pre는 표준 GRU의 78.29% 대비 hi-en에서 80.51%의 F1 스코어를 기록했다.
• 언어 정체성 특징의 추가로 성능이 더욱 향상되었으며, 특히 'are'와 'to'와 같이 동일한 철자로 쓰이지만 히브리어와 영어에서 다른 품사 태그를 가진 동음이의어의 경우 구분 능력이 높아졌다.
• 이론적으로 LSTM가 유리할 수 있지만, 이 데이터셋에서는 GRU와 심플한 RNN보다 성능이 열 劣했으며, 이는 데이터 부족과 모델의 복잡성 때문일 가능성이 높다.
• 저자원인 bn-en 쌍(약 0.5K개의 훈련 문장)에 대해서는 RNN 모델이 Stanford 및 HunPos에 비해 성능이 열 劣했으며, 이는 저자원 환경에서 RNN 모델이 최신 기술 수준에 도달하기 위해 더 많은 데이터가 필요함을 시사한다.
• 혼동 행렬 분석 결과, G_X, G_V, G_N, G_J(粗분류)와 V_VM, JJ, N_NN, N_NNP(세분화) 태그가 가장 자주 잘못 분류되었으며, 상호 간에 혼동되는 경향이 있었다.