[논문 리뷰] A Low Dimensionality Representation for Language Variety Identification

Francisco Rangel, Marc Franco-Salvador외 1명|arXiv (Cornell University)|2017. 05. 30.

Authorship Attribution and ProfilingComputer Science참고 문헌 8인용 수 17

한 줄 요약

이 논문은 스페인어 어용어 식별을 위한 저차원 표현(LDR)을 제안하며, 평균, 표준편차, 확률 기반 단어 가중치와 같은 통계적 특징을 사용하여 어용어당 특징 수를 단 6개로 감소시킨다. 이 방법은 최신 기준 모델 대비 35%의 정확도 향상을 달성했으며, 대규모 데이터 환경에서 다양한 어용어에 대해 강건한 성능을 보이며, 스킵그램 및 세브렉 같은 분산 모델과도 경쟁 가능한 성능을 보였다.

ABSTRACT

Language variety identification aims at labelling texts in a native language (e.g. Spanish, Portuguese, English) with its specific variation (e.g. Argentina, Chile, Mexico, Peru, Spain; Brazil, Portugal; UK, US). In this work we propose a low dimensionality representation (LDR) to address this task with five different varieties of Spanish: Argentina, Chile, Mexico, Peru and Spain. We compare our LDR method with common state-of-the-art representations and show an increase in accuracy of ~35%. Furthermore, we compare LDR with two reference distributed representation models. Experimental results show competitive performance while dramatically reducing the dimensionality --and increasing the big data suitability-- to only 6 features per variety. Additionally, we analyse the behaviour of the employed machine learning algorithms and the most discriminating features. Finally, we employ an alternative dataset to test the robustness of our low dimensionality representation with another set of similar languages.

연구 동기 및 목표

• 소셜미디어 텍스트에서 어용어(예: 멕시코어, 스페인어, 아르헨티나어 등)를 고정밀도로 식별하는 데 도전하는 것.
• 특히 소셜미디어 응용 프로그램을 고려할 때 대규모 데이터 환경에서의 확장성을 확보하기 위해 텍스트 표현의 차원을 낮추는 것.
• n-그램 또는 딥러닝 기반 표현에 의존하지 않고 어용어 간 어휘적 및 통계적 차이를 포괄하는 특징 세트를 개발하는 것.
• 훈련 및 테스트 세트 간 데이터 누출을 방지하기 위해 저자 수준의 엄격한 분리를 통해 일반화 능력을 확보하는 것.
• 재현 가능성을 지원하고 어용어 식별 분야의 향후 연구를 지원하기 위해 데이터셋을 공개하는 것.

제안 방법

• LDR 방법은 각 어용어당 어휘 빈도의 통계적 특징—평균, 표준편차, 최소값, 최대값, 확률, 비율—을 계산한다.
• 각 문서는 해당 어용어의 훈련 데이터에서 어휘 빈도 분포를 기반으로 6차원 벡터로 표현된다.
• 특징은 tf-idf 가중치를 사용하여 각 어용어에 대해 구분력이 높은 단어를 강조함으로써 일반 어휘에서 유래한 노이즈를 감소시킨다.
• 정보 양을 기반으로 특징을 선택하며, 가장 구분력이 높은 특징을 우선순위에 두어 분류에 활용한다.
• 기계학습 분류기(SVM 등)는 저차원 특징 벡터에 대해 훈련되어 올바른 어용어를 예측하도록 한다.
• 훈련 및 테스트 세트에 동일한 저자가 포함되지 않도록 하여 과적합을 방지하고 평가의 무결성을 유지한다.

실험 결과

연구 질문

• RQ1 저차원 특징 표현이 기존의 n-그램 및 최신 기준 표현보다 어용어 식별에서 뛰어난 성능을 낼 수 있는가?
• RQ2 어용어당 특징 수를 단 6개로 줄일 경우, 대규모 데이터 환경에서 분류 정확도와 확장성에 어떤 영향을 미치는가?
• RQ3 다양한 통계적 특징(평균, 표준편차, 최소/최대값, 확률)이 밀접하게 관련된 어용어를 어떻게 분류하는 데 기여하는가?
• RQ4 LDR 방법은 스페인어 외의 다른 언어 조합이나 어용어로도 잘 일반화되는가, 특히 유사 언어 식별 작업에서의 성능은 어떠한가?
• RQ5 스킵그램 및 세브렉과 같은 분산 표현과 비교할 때 LDR는 다양한 어용어에서 어떤 성능을 보이는가?

주요 결과

• LDR 방법은 스페인어 어용어 식별 작업에서 71.1%의 정확도를 달성하여 기준 방법 대비 약 35% 향상된 성능을 보였다.
• 특징 차원 수를 수천 개에서 어용어당 단 6개로 감소시켜 대규모 데이터 환경에서의 적합성을 크게 향상시켰다.
• 표준편차 기반 특징만으로도 69.2%의 정확도를 기록했으며, 평균 특징과 조합했을 때 70.8%로 상승하여 최소/최대값 기반 특징을 능가했다.
• DSLCC 코퍼스에서 다양한 어용어 조합에 대해 LDR는 강건한 성능을 보였으며, 정확도는 보스니아어의 78.0%에서 인도네시아어, 체코어 등에서 99.9%에 이르렀고, 스킵그램 및 세브렉과 유사한 성능을 보였다.
• DSLCC 세트의 포르투갈어 및 스페인어 어용어에서 LDR는 스페인(84.7%), 아르헨티나(88.0%), 포르투갈(87.4%), 브라질(90.0%)에서 각각 성능을 기록하여 강력한 다국어 일반화 능력을 입증했다.
• LDR 방법은 저자 프로파일링에서 연령 및 성별 식별에 성공적으로 적용되어 PAN 2018 경연 대회에서 상위 팀 수준의 경쟁력을 보였다.