[논문 리뷰] Is this word borrowed? An automatic approach to quantify the likeliness of borrowing in social media

Jasabanta Patro, Bidisha Samanta외 4명|arXiv (Cornell University)|2017. 03. 15.

Linguistics, Language Diversity, and Identity참고 문헌 23인용 수 3

한 줄 요약

이 논문은 영어-힌디어 혼합 트윗에서 사용자 수준의 단어 사용 패턴을 기반으로 유도된 세 가지 신규 지표인 UUR, UUR-adj, UUR-adj-2를 사용하여 소셜 미디어에서 단어 빌린 사용의 가능성을 자동으로 측정하기 위한 새로운 계산 프레임워크를 제안한다. 이 방법은 인간 평가 기반 기준값과 스피어만 순위 상관계수 0.62를 기록하며 기준값(0.26)의 두 배 이상 뛰어나며, 특히 젊은 사용자와 낮은 코드 믹싱 수준의 사용자에서 더 뛰어난 성능을 보여, 빌린 사용 경향의 조기 탐지 가능성을 시사한다.

ABSTRACT

Code-mixing or code-switching are the effortless phenomena of natural switching between two or more languages in a single conversation. Use of a foreign word in a language; however, does not necessarily mean that the speaker is code-switching because often languages borrow lexical items from other languages. If a word is borrowed, it becomes a part of the lexicon of a language; whereas, during code-switching, the speaker is aware that the conversation involves foreign words or phrases. Identifying whether a foreign word used by a bilingual speaker is due to borrowing or code-switching is a fundamental importance to theories of multilingualism, and an essential prerequisite towards the development of language and speech technologies for multilingual communities. In this paper, we present a series of novel computational methods to identify the borrowed likeliness of a word, based on the social media signals. We first propose context based clustering method to sample a set of candidate words from the social media data.Next, we propose three novel and similar metrics based on the usage of these words by the users in different tweets; these metrics were used to score and rank the candidate words indicating their borrowed likeliness. We compare these rankings with a ground truth ranking constructed through a human judgment experiment. The Spearman's rank correlation between the two rankings (nearly 0.62 for all the three metric variants) is more than double the value (0.26) of the most competitive existing baseline reported in the literature. Some other striking observations are, (i) the correlation is higher for the ground truth data elicited from the younger participants (age less than 30) than that from the older participants, and (ii )those participants who use mixed-language for tweeting the least, provide the best signals of borrowing.

연구 동기 및 목표

• 외래어가 언어에서 빌려쓰임인지, 아니면 코드 스위칭 방식으로 사용되고 있는지를 자동으로 측정하는 방법을 개발하는 것.
• 다국어 사용자들로부터의 비공식적이고 대규모의 소셜 미디어 데이터를 통해 빌림 현상의 조기 언어적 신호를 식별하는 것.
• 특히 코드 믹싱 행동이 최소한인 사용자들로부터의 사용 패턴을 활용하여 기존 기준값을 향상시키는 것.
• 다양한 연령대에서 수집한 인간 평가 기반 기준값 데이터를 통해 방법의 타당성을 검증하는 것.

제안 방법

• 언어적 관련성과 다양성을 확보하기 위해, 영어-힌디어 혼합 트윗에서 맥락 기반 클러스터링 기법을 사용해 57개의 후보 영어 단어를 샘플링한다.
• 사용자 수준의 단어 빈도와 트윗 내 분포를 기반으로, 빌림 가능성 추정을 위한 세 가지 새로운 지표인 UUR, UUR-adj, UUR-adj-2를 제안한다.
• 이 지표들은 사용자 간 사용의 균일성을 계산하며, 단어 빈도와 사용자 활동 수준을 보정하여 노이즈와 편향을 줄인다.
• 58명의 평가자가 참여한 인간 평가 연구를 통해, 연령대별로 분류된 57개의 목표 단어에 대한 빌림 가능성 순위 기준값을 확보하였다.
• 모델의 순위를 인간 평가 기준값과 비교하기 위해 스피어만 순위 상관계수를 사용하였으며, 사용자 코드 믹싱 행동에 따른 추가 분석도 실시하였다.
• 높은, 중간, 낮은 코드 믹싱 수준의 사용자 그룹을 대상으로 성능을 평가하여, 신호 강도와 내구성의 정도를 분석하였다.

실험 결과

연구 질문

• RQ1 소셜 미디어 데이터는 코드 스위칭과 구별되는 신뢰할 수 있는 빌림 조기 신호를 제공할 수 있는가?
• RQ2 소셜 미디어에서 외래어의 사용 패턴은 인간 평가의 빌림 가능성 판단과 어떻게 상관관계가 있는가?
• RQ3 희귀하게 코드 스위칭을 하는 사용자가 자주 코드 스위칭하는 사용자보다 빌림을 식별하는 데 더 강력한 신호를 제공하는가?
• RQ4 제안된 방법은 젊은 사용자에게서 더 효과적이며, 이는 초기 단계의 빌림 경향을 반영하는가?
• RQ5 제안된 지표들은 기존 기준값 대비 예측 빌림 가능성에 대해 정량적으로 어떻게 비교되는가?

주요 결과

• 제안된 UUR 지표는 인간 평가 기준값과 스피어만 순위 상관계수 0.62를 기록하였으며, 기준값 0.26보다 두 배 이상 높다.
• 연령대가 30세 이하의 참가자들에 대해서는 상관계수가 0.62로 높게 나타나, 이 방법이 초기 단계의 빌림 경향을 효과적으로 포착하고 있음을 시사한다.
• 낮은 코드 믹싱 행동을 보이는 사용자들로부터 유도된 UUR 지표는 상관계수 0.65를 기록하여, 이러한 사용자들이 빌림의 가장 순수한 신호를 제공하고 있음을 나타낸다.
• 정밀도와 재현율 지표는 UUR이 기준값 대비 일관되게 향상되었으며, 특히 SB(희귀로 간주되는 빌림), LM(빌릴 가능성이 높은) 버킷에서 두드러진 개선이 관찰되었다.
• 젊은 사용자 및 노령 사용자 그룹 모두에서 UUR의 매크로 및 마이크로 정밀도와 재현율 값은 기준값보다 일관되게 높게 나타났다.
• 이 방법은 다양한 평가 체계와 기준값 변형에 대해 강건성과 일반화 능력을 보이며, 뛰어난 성능을 유지한다.