[논문 리뷰] The placement of the head that maximizes predictability. An information theoretic approach

Ramon Ferrer‐i‐Cancho|arXiv (Cornell University)|2017. 05. 28.

Language and cultural evolution참고 문헌 65인용 수 26

한 줄 요약

이 논문은 인간 언어의 어순이 문법적 의존관계에서 중심 명사어의 예측 가능성 최적화를 위해 최적화되며, 정보 이론을 사용해 이 원칙을 의존 길이 최소화와 함께 모델링한다. 머리어간을 문장의 끝에 두는 것이 예측 가능성을 최대화하며, 이는 의존 길이 최소화와의 상충 관계를 초래한다. 이 이중 최적화 프레임워크를 통해 여섯 가지 가능한 어순(SVO, VSO 등)의 분포와 진화를 설명한다.

ABSTRACT

The minimization of the length of syntactic dependencies is a well-established principle of word order and the basis of a mathematical theory of word order. Here we complete that theory from the perspective of information theory, adding a competing word order principle: the maximization of predictability of a target element. These two principles are in conflict: to maximize the predictability of the head, the head should appear last, which maximizes the costs with respect to dependency length minimization. The implications of such a broad theoretical framework to understand the optimality, diversity and evolution of the six possible orderings of subject, object and verb are reviewed.

연구 동기 및 목표

• 예측 가능성 최적화를 어순 수학 이론에 통합하여 의존 길이 최소화와 보완한다.
• 의존 길이 최소화와 머리어간의 예측 가능성 최대화 사이의 갈등을 해결한다.
• 정보 이론적 원리에 기반한 이중 최적화 프레임워크를 사용해 여섯 가지 가능한 어순(SVO, VOS, OVS 등)의 분포와 진화적 안정성을 설명한다.
• 정보 이론적 원리에 기반한 이론적 기반을 제공하여 언어 다양성과 유형학적 패턴을 이해하는 데 기여한다.

제안 방법

• 정보 이론을 사용해 의존 길이 최소화와 예측 가능성 최대화 사이의 어순의 상충 관계를 모델링한다.
• 샤논의 엔트로피를 적용해 문장 내 어순에 따른 머리어간의 예측 가능성 수치를 정량화한다.
• 의존 구조의 확률 모델에 기반해 예측 가능성을 최대화하는 최적의 머리어간 위치를 유도한다.
• 의존 길이와 예측 가능성의 이중 제약 조건 하에서 여섯 가지 가능한 어순(SVO, VSO, OVS 등)을 비교한다.
• 형식적 프레임워크를 사용해 각 어순 구성의 정보 이론적 비용을 계산한다.
• 예측 가능성의 이득과 의존 길이의 손해를 균형 잡은 이론적 적합도로 각 어순의 이론적 최적성을 평가한다.

실험 결과

연구 질문

• RQ1 어순의 머리어간을 문장 내 다른 위치에 두는 것이 문법적 의존관계의 예측 가능성에 어떤 영향을 미치는가?
• RQ2 정보 이론적 제약 조건 하에서 예측 가능성을 최대화하는 최적의 머리어간 위치는 무엇인가?
• RQ3 의존 길이 최소화와 예측 가능성 최대화라는 상충 원리들이 어순 형성에 어떻게 상호작용하는가?
• RQ4 왜 일부 어순(SVO, VSO 등)이 다른 어순보다 자연어에서 더 흔한가?
• RQ5 이중 최적화 프레임워크 하에서 여섯 가지 가능한 어순을 이론적 최적성 기준으로 순위 매길 수 있는가?

주요 결과

• 예측 가능성을 최대화하는 머리어간 위치는 문장의 마지막 위치이며, 이는 맥락 정보의 누적도 최대화하기 때문이다.
• 머리어간을 마지막에 두는 것은 의존 길이 최소화 원칙과 충돌을 일으키며, 이는 초기 배치를 선호하는 원칙이기 때문이다.
• SVO와 VSO 어순은 예측 가능성과 의존 길이 사이의 최적의 타협으로 나타나 자연어에서 높은 빈도를 보이는 이유를 설명한다.
• 모델은 OVS와 VOS 어순이 낮은 예측 가능성과 높은 의존 길이로 인해 덜 최적임을 예측한다.
• 이론적 프레임워크는 두 상충 원리의 균형을 통해 관찰된 유형학적 어순 분포를 설명할 수 있다.
• 결과는 예측 가능성 최대화가 문법 어순 진화의 근본적 원인임을 지지하며, 종종 간과되는 원인임을 시사한다.