[논문 리뷰] Language Detection For Short Text Messages In Social Media

Ivana Balažević, Mikio L. Braun외 1명|arXiv (Cornell University)|2016. 08. 30.

Natural Language Processing Techniques참고 문헌 26인용 수 7

한 줄 요약

이 논문은 사용자 인식 확률적 언어 감지 모델을 제안하며, UI 언어 및 이전 언어 사용과 같은 사용자별 메타데이터를 수정된 Kneser-Ney n-gram 언어 모델에 통합함으로써, 짧은 소셜미디어 텍스트에서의 언어 감지 성능을 향상시킨다. 이 방법은 CLD2와 langid를 뛰어넘어 다국어 트위터 데이터에서 최신 기술 수준의 정확도를 달성하며, 희귀 n-gram에 대한 스무딩 기법과 사용자 행동 패턴을 활용한다.

ABSTRACT

With the constant growth of the World Wide Web and the number of documents in different languages accordingly, the need for reliable language detection tools has increased as well. Platforms such as Twitter with predominantly short texts are becoming important information resources, which additionally imposes the need for short texts language detection algorithms. In this paper, we show how incorporating personalized user-specific information into the language detection algorithm leads to an important improvement of detection results. To choose the best algorithm for language detection for short text messages, we investigate several machine learning approaches. These approaches include the use of the well-known classifiers such as SVM and logistic regression, a dictionary based approach, and a probabilistic model based on modified Kneser-Ney smoothing. Furthermore, the extension of the probabilistic model to include additional user-specific information such as evidence accumulation per user and user interface language is explored, with the goal of improving the classification performance. The proposed approaches are evaluated on randomly collected Twitter data containing Latin as well as non-Latin alphabet languages and the quality of the obtained results is compared, followed by the selection of the best performing algorithm. This algorithm is then evaluated against two already existing general language detection tools: Chromium Compact Language Detector 2 (CLD2) and langid, where our method significantly outperforms the results achieved by both of the mentioned methods. Additionally, a preview of benefits and possible applications of having a reliable language detection algorithm is given.

연구 동기 및 목표

• 트위터 게시물과 같은 짧고 노이즈가 많은 소셜미디어 텍스트에서 신뢰할 수 있는 언어 감지 문제를 해결하기 위해.
• UI 언어 및 과거 언어 사용과 같은 사용자별 메타데이터를 통합하여 분류 정확도를 향상시키기 위해.
• SVM, 로지스틱 회귀, 사전 기반, 확률 모델 등의 다양한 언어 감지 접근법을 짧은 텍스트 데이터에서 평가하고 비교하기 위해.
• CLD2와 langid와 같은 기존 도구와 비교하여 제안된 방법의 성능을 벤치마킹하고, 뛰어난 성능을 입증하기 위해.
• 다양한 소셜미디어 플랫폼에서 다국어 콘텐츠 분석에 사용자 메타데이터의 보다 넓은 적용 가능성을 탐색하기 위해.

제안 방법

• 수정된 Kneser-Ney 스무딩 기반의 확률 언어 모델을 사용하여 n-gram 확률을 추정함으로써, 짧은 텍스트에서의 OOV(n-gram) 처리 능력을 향상시킨다.
• 사용자 인터페이스(UI) 언어 및 사용자가 과거에 사용한 언어와 같은 사용자별 특징을 모델에 통합하여 예측 정확도를 향상시킨다.
• 사용자별 증거 누적 기법을 구현하여 이전 트윗 기반으로 언어 신뢰도를 동적으로 업데이트함으로써 장기적인 정확도를 향상시킨다.
• 문자 n-gram(1–4)과 언어별 스무딩을 조합하여 철자 오류 및 약어에 대한 강건성을 향상시킨다.
• 동일한 트위터 데이터셋을 사용해 SVM 및 로지스틱 회귀 분류기를 훈련시켜 확률 모델과의 성능를 비교한다.
• Aspell 사전을 사용한 사전 기반 접근법을 베이스라인으로 구현하였지만, 비공식적 언어(약어, 약어, 철자 오류 등)와의 불일치로 성능이 열등하였다.

실험 결과

연구 질문

• RQ1 UI 언어 및 과거 언어 사용과 같은 사용자별 메타데이터를 통합하면 짧은 소셜미디어 텍스트에서 언어 감지 정확도가 향상되는가?
• RQ2 Kneser-Ney 스무딩 확률 모델은 전통적 분류기인 SVM 및 로지스틱 회귀와 비교해 짧은 텍스트 언어 감지에서 어떻게 성능을 내는가?
• RQ3 사용자 행동 이력(예: 과거에 사용한 언어)은 언어 감지 모델의 성능을 어느 정도 향상시키는가?
• RQ4 CLD2 및 langid와 같은 기존 도구와 비교해 제안된 방법의 정확도 측면에서 수치적으로 어떤 성과를 내는가?
• RQ5 다른 시간대에서 예측된 언어, UI 언어, 트윗 시간 간의 상관관계에서 도출할 수 있는 통찰은 무엇인가?

주요 결과

• 사용자별 메타데이터를 통합한 Kneser-Ney 스무딩 확률 모델은 모든 테스트 방법 중 가장 높은 분류 정확도를 기록했으며, SVM 및 로지스틱 회귀를 뚜렷이 뛰어넘었다.
• UI 언어 및 과거 언어 사용을 모델에 통합함으로써 검출 정확도가 명백히 향상되었으며, 사용자 행동 패턴이 정보성이라는 가설을 입증하였다.
• 사전 기반 방법은 비공식적 언어(예: 약어, 약어, 철자 오류 등)와의 불일치로 성능이 열등하여 낮은 성능을 보였다.
• 제안된 모델은 CLD2 및 langid를 정확도 측면에서 모두 뛰어넘었으며, 짧은 텍스트 언어 감지 분야에서의 열등함을 입증하였다.
• 예측된 언어와 UI 언어 사이에 강한 상관관계가 관찰되었으며, 스페인어나 포르투갈어로 트윗하는 사용자들은 종종 해당 언어를 UI 언어로 설정함으로써 언어적·지리적 일치를 보였다.
• 트윗 시간 분석 결과, 영어, 스페인어, 포르투갈어는 시간대에 걸쳐 균일한 분포를 보였지만, 중국어 트윗은 UTC 4시 이후 급격히 감소하였으며, 이는 중국 현지 시간과 일치하였다.