[논문 리뷰] Representations of Language Varieties Are Reliable Given Corpus Similarity Measures

Jonathan Dunn|arXiv (Cornell University)|2021. 04. 03.

Linguistic Variation and Morphology참고 문헌 22인용 수 6

한 줄 요약

이 연구는 웹 및 트위터 데이터와 같은 디지털 지리기반 코퍼스가 9개 언어의 84개 언어 변종을 대표하는 데에 신뢰할 수 있는지 평가하기 위해, 다양한 언어 변종 간의 코퍼스 유사도를 측정한다. 빈도 기반 유사도 측정 방법을 사용하여, 웹 코퍼스와 트위터 코퍼스 간에 강한 순위 상관관계(rho = 0.453)를 발견하였으며, 이는 언어 다양성의 일관된 표현을 보여주고 디지털 코퍼스가 계산언어학 연구에서 활용될 수 있음을 뒷받침한다.

ABSTRACT

This paper measures similarity both within and between 84 language varieties across nine languages. These corpora are drawn from digital sources (the web and tweets), allowing us to evaluate whether such geo-referenced corpora are reliable for modelling linguistic variation. The basic idea is that, if each source adequately represents a single underlying language variety, then the similarity between these sources should be stable across all languages and countries. The paper shows that there is a consistent agreement between these sources using frequency-based corpus similarity measures. This provides further evidence that digital geo-referenced corpora consistently represent local language varieties.

연구 동기 및 목표

• 디지털 지리기반 코퍼스(웹 및 트위터)가 현지 언어 변종을 신뢰성 있게 대표하는지 평가하기 위해.
• 다양한 언어와 국가에서 서로 다른 데이터 소스(웹 대비 트위터) 간의 언어 유사도 패턴의 일관성 평가하기 위해.
• 빈도 기반 코퍼스 유사도 측정 방법이 디지털 코퍼스의 신뢰성과 언어 다양성 모델링에 적합한지 검증하기 위해.
• 등록 유형의 차이(기본 문장 대 사회 미디어)가 실제 언어 변종 패턴을 왜곡하거나 왜곡적으로 반영하는지 조사하기 위해.
• 신뢰성과 다른 검증 방법 간의 일치를 실증적으로 입증함으로써 디지털 코퍼스의 계산언어학 연구에서의 광범위한 활용을 뒷받침하기 위해.

제안 방법

• 국가 및 언어별로 지리기반된 웹(Common Crawl) 및 트위터 데이터에서 84개 언어 변종 코퍼스를 구축하였다.
• 각 언어 및 각 변종-레지스터 조합(예: 멕시코 스페인어 트윗)에 대해 평균 기능 빈도를 계산하였다.
• 언어 수준의 평균과 변종별 평균 간의 빈도 기반 유사도 측정 지표를 사용하여 코퍼스 유사도를 측정하였다.
• 웹 및 트위터 레지스터 간의 언어 변종 순위를 비교하기 위해 슔피어만 순위 상관계수를 사용하였다.
• 국가별로 레지스터 간 유사도 값을 집계하여 레지스터 일치성의 지리적 추세를 분석하였다.
• 통계적 검정 및 시각화(예: 그림 7)를 사용하여 상관계수와 지리적 패턴의 유의성을 평가하였다.

실험 결과

연구 질문

• RQ1 웹 및 트위터 코퍼스는 여러 언어에 걸쳐 언어 변종의 일관된 유사도 순위를 제공하는가?
• RQ2 특정 언어 변종에 대해 웹 대비 트위터와 같은 서로 다른 디지털 레지스터 간에 언어 변종 간의 유사도가 안정적인가?
• RQ3 레지스터 간 유사도의 지리적 패턴이 기대되는 지역적 추세와 어느 정도 일치하는가?
• RQ4 다양한 언어 간에 코퍼스 유사도 측정치는 어떻게 상관관계를 보이며, 어느 언어에서 데이터 소스 간의 일치가 가장 강한가?
• RQ5 레지스터 간의 디지털 코퍼스 신뢰성이 언어 다양성 모델링에 있어 타당성을 뒷받침하는가?

주요 결과

• 웹 코퍼스와 트위터 코퍼스 간 언어 변종의 유사도 순위 간 총 슈피어만 순위 상관계수는 0.453로, 모든 언어에서 뚜렷한 일관성이 있음을 나타낸다.
• 독일어, 프랑스어, 포르투갈어, 러시아어에서는 통계적으로 유의미한 상관계수(rho > 0.78)를 보이며, 이는 이러한 언어별 표현의 강력한 신뢰성을 시사한다.
• 66개 국가의 평균 레지스터 간 유사도는 0.855였으며, 66개국 중 62개국이 0.80–0.89 범위에 속하여 표현의 높은 안정성을 나타낸다.
• 바레인과 브라질의 두 나라만 낮은 일치도(0.80 이하)를 보였으며, 브라질은 포르투갈어에 대한 문자 기반 측정의 정확도가 낮아 영향을 받은 것으로 보인다.
• 나이지리아와 뉴질랜드는 높은 일치도(0.90 초과)를 보이며, 디지털 코퍼스 표현의 더 강한 일관성을 시사한다.
• 기대되는 지리적 군집화(예: 서유럽 국가들이 함께 묶이지 않음)가 없었기 때문에, 변동성이 예측 가능한 지역 패턴을 따르지 않음을 고려할 때, 이는 신뢰성의 추가적 증거가 된다.