[논문 리뷰] Phylogeny and geometry of languages from normalized Levenshtein distance

Maurizio Serva|arXiv (Cornell University)|2011. 04. 22.

Language and cultural evolution참고 문헌 15인용 수 4

한 줄 요약

이 논문은 주관적인 공통어 식별에 의존하지 않고 언어 간 어휘적 거리를 객관적으로 측정하기 위해 정규화된 레벤슈타인 거리 방법을 제안한다. 말라가시 방언에 적용한 결과, 650년경 정착 시점과 남동부 해안 착륙지점을 밝혀내어 해양 이주 경로를 뒷받침하며, 전통적인 어휘통계학에 대한 기하학적 기반의 재현 가능한 대안을 제공한다.

ABSTRACT

The idea that the distance among pairs of languages can be evaluated from lexical differences seems to have its roots in the work of the French explorer Dumont D'Urville. He collected comparative words lists of various languages during his voyages aboard the Astrolabe from 1826 to 1829 and, in his work about the geographical division of the Pacific, he proposed a method to measure the degree of relation between languages. The method used by the modern lexicostatistics, developed by Morris Swadesh in the 1950s, measures distances from the percentage of shared cognates, which are words with a common historical origin. The weak point of this method is that subjective judgment plays a relevant role. Recently, we have proposed a new automated method which is motivated by the analogy with genetics. The new approach avoids any subjectivity and results can be easily replicated by other scholars. The distance between two languages is defined by considering a renormalized Levenshtein distance between pair of words with the same meaning and averaging on the words contained in a list. The renormalization, which takes into account the length of the words, plays a crucial role, and no sensible results can be found without it. In this paper we give a short review of our automated method and we illustrate it by considering the cluster of Malagasy dialects. We show that it sheds new light on their kinship relation and also that it furnishes a lot of new information concerning the modalities of the settlement of Madagascar.

연구 동기 및 목표

• 주관적인 공통어 식별에 의존하지 않고 언어 간 어휘적 거리를 객관적이고 재현 가능한 방법으로 측정하기 위한 것이다.
• 전문가의 판단에 의존하고 인도유럽어족에 편향된 전통적인 어휘통계학의 한계를 극복하기 위한 것이다.
• 어휘를 DNA 서열과 유사하게 간주하고, 유전학에서 영감을 얻은 계산 기반 접근법을 언어 데이터에 적용하기 위한 것이다.
• 계통수학적 방법과 기하학적(다차원 척도화) 방법을 모두 활용하여 언어 간 관계와 분화 시기를 밝혀내기 위한 것이다.
• 이 방법을 말라가시 방언에 적용하여 이주 역사, 정착 시점, 지역적 다양성 패턴을 추론하기 위한 것이다.

제안 방법

• 이 방법은 의미가 같은 단어들 간의 정규화된 레벤슈타인 거리를 계산하며, d(ω₁,ω₂) = dₗ(ω₁,ω₂)/l(ω₁,ω₂)로 정의된다. 여기서 dₗ은 표준 레벤슈타인 거리이고, l은 더 긴 단어의 길이다.
• 정규화는 거리가 0에서 1 사이로 제한되게 하여 단어 길이에 관계없이 비교가 가능하게 하며, 더 긴 단어에 대한 편향을 방지한다.
• 쌍별 어휘 거리는 거리 행렬로 집계되며, 이를 바탕으로 구조적 구성 요소 분석(Structural Component Analysis, SCA)을 수행하여 언어들을 2차원 또는 3차원 유클리드 공간에 매핑한다.
• SCA는 수직(계통수학적) 및 수평(접촉) 관계를 모두 유지하여 군집화 및 분화 패턴을 드러낸다.
• SCA 공간에서 원점으로부터의 반경 거리는 원어에서의 분화 시점과 비례하므로, 언어 분화의 시기를 추정할 수 있다.
• 이 방법은 스와시드 목록과 자동화된 철자 비교를 사용하여 23개의 말라가시 방언과 두 개의 아르도네시아어족 언어(말레이어, 마아냐언어)에 적용되었다.

실험 결과

연구 질문

• RQ1 어떤 주관적인 공통어 판단에 의존하지 않고 언어 간 어휘적 거리를 객관적이고 재현 가능한 방법으로 측정할 수 있는가?
• RQ2 언어 관계는 계통수학적 트리 외에도 다차원 공간에서 기하학적 구성으로 어떻게 표현될 수 있는가?
• RQ3 어휘적 분화 패턴에 기반해 말라가시 언어군은 언제, 어디에서 기원했는가?
• RQ4 SCA 공간에서의 방사형 분포는 언어 분화의 시기적 특성을 어떻게 드러내는가?
• RQ5 말라가시 방언의 공간적 위치가 말레이어와 마아냐언어에 비해 이주 경로와 정착 패턴을 어떻게 밝혀내는가?

주요 결과

• 이 방법은 말라가시 방언에서 네 개의 주요 방언 군집을 성공적으로 식별하였으며, 안타안드로 방언은 상대적으로 고립되어 있지만 다른 말라가시 방언들과 같은 평면 내에 존재한다.
• SCA 공간에서의 반경 분포는 약 1350년의 분화 지연를 나타내며, 이는 약 650년경의 창설 사건에 해당한다.
• 안타나나리보, 피아나라츠와, 마나자리, 마나카라와 같은 방언들은 마아냐언어와 말레이어 양쪽 모두와 더 가까운 어휘적 거리를 보이며, 마데이가카의 남동부 해안 착륙지점을 시사한다.
• 이 방법으로 확인된 남동부 지역의 높은 언어 다양성은 인도네시아와 그 해안을 연결하는 해류 패턴과 일치한다.
• 이 방법은 인도네시아에서 수증기 띠를 통해 이주한 시나리오를 지지하며, 마아냐언어는 지리적·문화적으로 떨어져 있음에도 불구하고 가장 가까운 언어적 친족으로 밝혀졌다.
• 이 접근법은 사전 지식에 편향되지 않은 블라인드 분석을 가능하게 하며, 전통적인 어휘통계학에 대한 재현 가능한 대안을 제공한다.