[논문 리뷰] Spin Glass Models of Syntax and Language Evolution

Karthik Siva, Jim Tao외 1명|arXiv (Cornell University)|2015. 07. 31.

Language and cultural evolution참고 문헌 11인용 수 8

한 줄 요약

이 논문은 언어 간 이중어 위키백과 편집 데이터로부터 유도된 상호작용 에너지를 바탕으로, 언어의 그래프에서 문법적 매개변수를 스핀 변수로 간주하여 인간 언어의 문법 진화를 시뮬레이션하기 위해 스핀 유 vid 모델을 제안한다. 주요 기여는 종속 관계(entailment relations)를 갖는 매개변수들—결합된 이징-팟츠 시스템으로 모델링됨—이 존재할 경우, 낮은 온도에서도 완전한 매개변수 정렬이 이루어지지 않음을 보여주는 것으로, 이는 독립된 매개변수 모델과는 다를 바 있는 복잡한 평형 역학을 드러낸다.

ABSTRACT

Using the SSWL database of syntactic parameters of world languages, and the MIT Media Lab data on language interactions, we construct a spin glass model of language evolution. We treat binary syntactic parameters as spin states, with languages as vertices of a graph, and assigned interaction energies along the edges. We study a rough model of syntax evolution, under the assumption that a strong interaction energy tends to cause parameters to align, as in the case of ferromagnetic materials. We also study how the spin glass model needs to be modified to account for entailment relations between syntactic parameters. This modification leads naturally to a generalization of Potts models with external magnetic field, which consists of a coupling at the vertices of an Ising model and a Potts model with q=3, that have the same edge interactions. We describe the results of simulations of the dynamics of these models, in different temperature and energy regimes. We discuss the linguistic interpretation of the parameters of the physical model.

연구 동기 및 목표

• 문법적 매개변수를 스핀 변수로 간주하여 언어 진화를 통계역학 시스템으로 모델링하기.
• 이중어 위키백과 편집 패턴에 기반한 언어 간 상호작용 강도가 문법적 매개변수 정렬에 미치는 영향을 조사하기.
• 문법적 매개변수 간 종속 관계를 포함시켜 스핀 유 vid 모델을 확장하여, 한 매개변수의 값이 다른 매개변수의 값을 제약하는 방식으로 모델링하기.
• 다양한 온도 및 상호작용 에너지 영역에서 모델의 역학 및 평형 상태를 분석하기.
• 종속 관계가 있는 경우와 독립된 매개변수 가정이 있는 경우의 결과를 비교하여 수렴 행동의 차이를 부각하기.

제안 방법

• 각 언어를 그래프의 정점으로 표현하며, 이중 문법적 매개변수(예: 주어-동사 어순)를 스핀 상태(+1 또는 -1)로 간주한다.
• 위키백과에서의 공동 편집 빈도를 바탕으로 언어 쌍 간의 상호작용 에너지를 정의하여 이중어 상호작용 강도를 반영한다.
• 스핀 정렬을 선호하는 페로자성 유사 상호작용을 사용하여 시스템의 하미르토니안을 구성한다.
• 이징 모델과 q=3의 팟츠 모델을 결합한 일반화된 모델을 제안하며, 공통된 간선 상호작용을 통해 종속 관계를 표현한다. 이 경우 한 매개변수의 값이 다른 매개변수의 값을 제약한다.
• 다양한 온도 및 종속 에너지 영역에서 몬테카를로 방법을 사용하여 시스템의 역학을 시뮬레이션한다.
• 평형 상태 및 스핀 평균을 분석하여 다양한 조건 하에서의 수렴 패tern과 매개변수 정렬 정도를 평가한다.

실험 결과

연구 질문

• RQ1 이중어 위키백과 편집 데이터로부터 유도된 상호작용 강도는 언어 진화에서 문법적 매개변수 정렬에 어떤 영향을 미치는가?
• RQ2 문법적 매개변수가 상호의존적일 경우, 매개변수 정렬은 어떻게 변화하는가?
• RQ3 결합된 이징 및 팟츠 성분을 가진 스핀 유 vid 모델은 독립된 매개변수 모델에서 관찰되지 않는 비정상적인 평형 구성 상태를 재현할 수 있는가?
• RQ4 종속 관계가 존재할 경우 온도는 매개변수 수렴에 어떤 영향을 미치는가?
• RQ5 낮은 온도에서도 종속 관계는 완전한 매개변수 정렬을 방해하는가? 그 정도는 어느 정도인가?

주요 결과

• 독립된 매개변수 모델에서는 낮은 온도에서 매개변수들이 +1으로 정렬되는 경향이 있으며, 이는 강한 상호작용 하에서의 수렴을 반영한다.
• 종속 관계가 도입된 경우, 낮은 온도에서도 정렬되지 않은 평형 상태가 나타나며, 예를 들어 종속된 매개변수의 조합이 (−1, 0) 또는 (+1, −1)인 경우가 있다.
• 첫 번째 예시에서는 세 개의 언어와 두 개의 종속된 매개변수를 고려하였으며, 낮은 온도 및 높은 종속 에너지 영역에서 (−1, 0)과 같은 평형 상태가 나타나 부분적인 정렬을 나타낸다.
• 두 번째 예시에서는 영어, 웨일즈어, 러시아어, 불가리아어를 포함하며, 낮은 온도 및 높은 종속 에너지 영역에서 지속적인 비정렬 상태, 예를 들어 (−1, 0) 및 (+1, −1)이 관찰되어 종속 관계가 완전한 수렴을 방해함을 보여준다.
• 종속 에너지의 존재는 독립된 매개변수 모델보다 더 복잡한 평형 구성 상태를 초래하며, 그 결과는 종속 에너지와 온도의 상대적 강도에 따라 달라진다.
• 낮은 온도 영역에서도 종속 관계가 존재할 경우 모든 매개변수의 완전한 정렬이 보장되지 않음을 보여주며, 이는 독립된 매개변수 역학과의 근본적인 차이를 입증한다.