[논문 리뷰] All that is English may be Hindi: Enhancing language identification through automatic ranking of likeliness of word borrowing in social media

Jasabanta Patro, Bidisha Samanta외 5명|arXiv (Cornell University)|2017. 07. 25.

Linguistics, Language Diversity, and Identity참고 문헌 36인용 수 19

한 줄 요약

이 논문은 사회적 미디어 신호를 활용하여 영어어휘가 히누어로 번역될 가능성을 예측하는 새로운 계산 프레임워크를 제안한다. 이는 기존 베이스라인보다 두 배 이상 높은 성능을 보이며, 스피어만 상관계수 0.62를 달성한다. 이 방법은 트위터에서의 사용자 수준의 번역 신호를 활용하며, 88%의 평가자가 높은 번역 가능성의 영어어휘를 히누어어휘로 재태깅하는 것을 권장하여 다국어 언어 식별 시스템 향상 잠재력을 입증한다.

ABSTRACT

In this paper, we present a set of computational methods to identify the likeliness of a word being borrowed, based on the signals from social media. In terms of Spearman correlation coefficient values, our methods perform more than two times better (nearly 0.62) in predicting the borrowing likeliness compared to the best performing baseline (nearly 0.26) reported in literature. Based on this likeliness estimate we asked annotators to re-annotate the language tags of foreign words in predominantly native contexts. In 88 percent of cases the annotators felt that the foreign language tag should be replaced by native language tag, thus indicating a huge scope for improvement of automatic language identification systems.

연구 동기 및 목표

• 사회 미디어 신호를 기반으로 영어어휘가 히누어로 번역될 가능성을 예측하는 계산 방법을 개발하는 것.
• 공식 사전에 포함되기 이르기 전의 초기 단계 번역을 탐지하여 다국어 소셜 미디어의 자동 언어 식별을 향상시키는 것.
• 인간 평가자가 번역 가능성이 높은 외국어어휘를 원어로 재태깅하는 데에 대해 선호하는지 평가하는 것.
• 낮은 코드믹싱 빈도를 보이는 사용자가 더 강한 번역 탐지 신호를 제공하는지 조사하는 것.

제안 방법

• 저자들은 히누어 트윗 맥락에서 사용자 수준의 어휘 사용 패턴을 기반으로 세 가지 새로운 지표인 UUR(사용자 수준 사용 비율), UUR-Young, UUR-Elder를 정의한다.
• UUR는 특정 외래어가 히누어 맥락에서 나타나는 빈도를 총 사용 빈도로 나누고, 사용자 빈도에 따라 정규화한 비율을 측정한다.
• 이 방법은 대규모 히누어-영어 혼합 트윗 데이터셋을 활용하여 각 어휘의 번역 가능성 점수를 계산한다.
• 기준값은 다양한 배경을 가진 58명의 인간 평가자들을 대상으로 실시한 설문조사를 통해 후보어휘의 번역 가능성에 대한 평가로 확립된다.
• 모델의 예측은 인간 평가 기준값과의 스피어만 순위 상관계수를 통해 검증된다.
• 전문 평가자들에게 특정 트윗을 제시하여 영어 태깅을 히누어로 재태깅할 것인지 평가하는 재태깅 실험을 수행한다.

실험 결과

연구 질문

• RQ1 공식 사전에 포함되기 이르기 전에 사회 미디어 신호가 영어어휘가 히누어로 번역될 가능성을 신뢰성 있게 예측할 수 있는가?
• RQ2 낮은 언어 혼합 빈도를 보이는 사용자가 높은 혼합 빈도 사용자보다 번역 탐지에 더 강한 신호를 제공하는가?
• RQ3 계산 지표가 인간 평가자의 번역 가능성 판단과 얼마나 잘 상관되는가?
• RQ4 전문 평가자들이 주로 히누어 맥락에서 번역된 영어어휘를 히누어로 재태깅하는 데 얼마나 높은 일致도를 보이는가?
• RQ5 번역 가능성 예측 성능 향상이 자동 언어 식별 시스템 성능 향상에 기여하는가?

주요 결과

• 제안된 UUR 지표는 인간 평가 기준값과 스피어만 순위 상관계수 0.62를 기록하였으며, 최고의 기존 베이스라인(0.26)의 두 배 이상 높은 성능을 보였다.
• 언어 혼합 빈도가 가장 낮은 사용자 집단에서 상관계수가 가장 높았으며(0.65), 이는 낮은 혼합 사용자가 번역 탐지에 가장 신뢰할 수 있는 신호를 제공한다는 것을 시사한다.
• 높은 번역 가능성으로 예측된 어휘(상위 목록)에 대해선 88%의 평가자가 영어에서 히누어로 재태깅을 권장하였으며, 높은 평가자 간 일致도(홀 맥락에서 Fleiss’ κ = 0.84)를 보였다.
• 연령대별로도 높은 성능를 보였으며, 특히 젊은 사용자들의 판단이 모델 예측과 매우 잘 일치하여 초기 번역 신호에 민감함을 시사한다.
• 모델 성능은 다양한 사용자 유형에서 뛰어난 안정성을 보였으며, 특히 낮은 혼합 사용자 그룹에서 가장 높은 상관계수(0.65)를 기록하였다.
• 결과는 현재 언어 식별 시스템이 많은 번역어를 외국어로 잘못 분류하고 있으며, 이러한 오류를 수정하면 다국어 NLP 파이프라인의 성능 향상에 크게 기여할 수 있음을 시사한다.