[논문 리뷰] Automatic Normalization of Word Variations in Code-Mixed Social Media Text

Rajat Singh, Nurendra Choudhary외 1명|arXiv (Cornell University)|2018. 04. 03.

Natural Language Processing Techniques참고 문헌 20인용 수 10

한 줄 요약

이 논문은 다국어 남아시아 환경에서 흔한 혼합어 섞인 소셜 미디어 텍스트의 어휘 변형을 자동으로 정규화하기 위한 비지도 학습 방법을 제안한다. 대규모 노이즈 있는 코퍼스에서 유도된 문맥적 단어 표현을 활용하여 분포형 단어 임베딩를 통해 철자 및 문법적 변형을 포착함으로써, 품사 태깅 및 감성 분석과 같은 후속 NLP 작업의 성능을 향상시킨다. 이는 다양한 다국어 남아시아 환경에서의 혼합어 텍스트 데이터셋에서 일관된 성능 향상을 입증한다.

ABSTRACT

Social media platforms such as Twitter and Facebook are becoming popular in multilingual societies. This trend induces portmanteau of South Asian languages with English. The blend of multiple languages as code-mixed data has recently become popular in research communities for various NLP tasks. Code-mixed data consist of anomalies such as grammatical errors and spelling variations. In this paper, we leverage the contextual property of words where the different spelling variation of words share similar context in a large noisy social media text. We capture different variations of words belonging to same context in an unsupervised manner using distributed representations of words. Our experiments reveal that preprocessing of the code-mixed dataset based on our approach improves the performance in state-of-the-art part-of-speech tagging (POS-tagging) and sentiment analysis tasks.

연구 동기 및 목표

• 다국어 사회에서 흔한 혼합어 섞인 소셜 미디어 텍스트에서의 철자 및 문법적 변형 문제를 해결하기 위해.
• 혼합어 텍스트에서 품사 태깅 및 감성 분석과 같은 후속 NLP 작업의 성능을 향상시키기 위해.
• 병렬 데이터나 레이블이 없는 정규화 데이터를 요구하지 않고, 어휘 변형 간의 문맥적 유사성을 활용하는 비지도 방법을 개발하기 위해.
• 대규모 노이즈 있는 소셜 미디어 코퍼스에서 학습된 분포형 표현을 사용하여 혼합어 텍스트의 어휘 변형을 모델링하기 위해.
• 트위터 및 페이스북과 같은 플랫폼에서의 실제 혼합어 텍스트 데이터셋을 대상으로 정규화의 효과를 평가하기 위해.

제안 방법

• 대규모 혼합어 섞인 소셜 미디어 텍스트에서 학습된 분포형 단어 표현(예: 음성 샘플링을 사용한 스킵그램)을 활용하여, 어휘 변형 간의 문맥적 유사성을 포착한다.
• 유사한 문맥에서 나타나는 단어의 임베딩을 군집화하여, 철자가 다를 경우나 문법적 이상이 있는 경우에도 어휘 변형을 식별한다.
• 이 방법은 비지도 학습 기반으로, 병렬 또는 수동으로 레이블이 부여된 정규화 쌍이 필요로 하지 않으며, 단어의 분포적 성질에 의존한다.
• 모든 동일어의 변형 형태를 임베딩 공간 내의 유사도 기반으로 기준 형태로 매핑함으로써 정규화를 달성한다.
• 품사 태깅 및 감성 분석과 같은 후속 NLP 작업 이전의 전처리 단계로 적용된다.
• 모델은 남아시아 언어와 영어를 혼합한 다국어 소셜 미디어 데이터에서 학습되며, 일반적인 혼합어 패턴을 반영한다.

실험 결과

연구 질문

• RQ1 비지도 분포형 표현이 혼합어 섞인 소셜 미디어 텍스트에서 동일한 단어의 철자 및 문법적 변형을 효과적으로 식별하고 군집화할 수 있는가?
• RQ2 문맥적 단어 임베딩 기반 정규화가 품사 태깅 및 감성 분석과 같은 후속 NLP 작업의 성능을 어떻게 향상시키는가?
• RQ3 레이블이 없는 데이터에서 단일 기준 형태를 신뢰성 있게 학습할 수 있는 정도는 어느 정도인가?
• RQ4 이 방법은 다양한 혼합어 언어 조합과 소셜 미디어 플랫폼 간에 일반화 가능한가?
• RQ5 정규화가 노이즈가 많고 실제 다국어 텍스트에서 흔한 복잡한 상황에서 NLP 모델의 강건성에 어떤 영향을 미치는가?

주요 결과

• 제안된 정규화 방법은 혼합어 데이터셋에서 품사 태깅 성능을 크게 향상시키며, F1 점수에서 측정 가능한 향상이 관찰된다.
• 정규화된 혼합어 텍스트를 사용해 학습된 감성 분석 모델은 원본 미정규화 입력을 사용한 모델보다 정확도가 향상된다.
• 레이블이 없는 정규화 데이터가 필요 없이도, 다양한 평가 환경에서 일관된 성능 향상이 달성된다.
• 이 방법은 문맥적 유사성 기반으로 형태소적 및 철자적 변형 형태를 하나의 기준 표현으로 효과적으로 군집화한다.
• 결과적으로, 문맥적 단어 표현이 노이즈가 많고 실제 소셜 미디어 텍스트에서의 어휘 변형을 효과적으로 모델링할 수 있음을 입증한다.
• 이 방법은 다국어 소셜 미디어 콘텐츠에서 흔한 높은 언어적 일관성 부족성에 대해 강건함을 보인다.