[논문 리뷰] Grammatical cues to subjecthood are redundant in a majority of simple clauses across languages

Kyle Mahowald, Evgeniia Diachek외 3명|arXiv (Cornell University)|2022. 01. 30.

Language, Metaphor, and Cognition인용 수 6

한 줄 요약

이 연구는 30개 언어에서 문법적 신호(예: 어순, 형태론)가 주어 식별에 얼마나 부용한지 조사한다. 영어와 러시아어에서 실시한 행동 실험과 교차 언어 코퍼스 데이터를 활용한 신경망 분류기 분석을 통해, 대부분의 단순 타동사 문장에서 문법적 신호는 부용하다는 것을 발견했다—그들 없이도 주어 식별 정확도가 87–89%에 이르며, 의미와 타당성이 주로 주어 식별에 충분함을 시사한다.

ABSTRACT

Grammatical cues are sometimes redundant with word meanings in natural language. For instance, English word order rules constrain the word order of a sentence like "The dog chewed the bone" even though the status of "dog" as subject and "bone" as object can be inferred from world knowledge and plausibility. Quantifying how often this redundancy occurs, and how the level of redundancy varies across typologically diverse languages, can shed light on the function and evolution of grammar. To that end, we performed a behavioral experiment in English and Russian and a cross-linguistic computational analysis measuring the redundancy of grammatical cues in transitive clauses extracted from corpus text. English and Russian speakers (n=484) were presented with subjects, verbs, and objects (in random order and with morphological markings removed) extracted from naturally occurring sentences and were asked to identify which noun is the subject of the action. Accuracy was high in both languages (~89% in English, ~87% in Russian). Next, we trained a neural network machine classifier on a similar task: predicting which nominal in a subject-verb-object triad is the subject. Across 30 languages from eight language families, performance was consistently high: a median accuracy of 87%, comparable to the accuracy observed in the human experiments. The conclusion is that grammatical cues such as word order are necessary to convey subjecthood and objecthood in a minority of naturally occurring transitive clauses; nevertheless, they can (a) provide an important source of redundancy and (b) are crucial for conveying intended meaning that cannot be inferred from the words alone, including descriptions of human interactions, where roles are often reversible (e.g., Ray helped Lu/Lu helped Ray), and expressing non-prototypical meanings (e.g., "The bone chewed the dog.").

연구 동기 및 목표

• 자연어 문장에서 주어 식별을 위한 문법적 신호(예: 어순, 형태론)가 얼마나 자주 부용한지 규명하는 것.
• 문법적 표시 없이 단지 어휘 의미와 타당성만으로 주어 식별이 신뢰성 있게 수행될 수 있는지 평가하는 것.
• 8개 언어 가문에서 온 30개 언어에서의 문법적 신호의 부용성에 대한 언어 간 변동성을 검토하는 것.
• 비표준적 또는 상호 전환 가능한 역할(예: 'Ray가 Lu를 도왔다' vs. 'Lu가 Ray를 도왔다')에서 문법적 신호가 의미 전달에 어떤 역할을 하는지 평가하는 것.

제안 방법

• 영어와 러시아어 모국어 사용자 484명을 대상으로 행동 실험을 실시하여, 형태적 표시를 제거한 무작위로 구성된 주어-동사-목적어 삼단어 조합을 제시함.
• 각 삼단어 조합에서 행동의 주어가 되는 명사를 참가자들이 평가하도록 함.
• 30개 언어의 다양한 코퍼스에서 타동사 문장을 활용해 동일한 작업을 수행하는 신경망 분류기 훈련.
• 다양한 언어에서 분류기 성능을 측정하여, 문법적 신호 없이도 주어 식별이 높은 정확도로 일관되게 이루어지는지 평가함.
• 언어 유형학적으로 다양성이 있는 언어들에서 자연적으로 발생하는 타동사 문장을 추출하고 분석함.
• 인간과 모델의 성능을 비교하여 의미와 타당성만으로 주어 식별이 어느 정도 가능하는지 평가함.

실험 결과

연구 질문

• RQ1 자연적으로 발생하는 타동사 문장에서 주어 식별을 위한 문법적 신호가 얼마나 자주 부용한가?
• RQ2 어휘 의미와 타당성만으로 문법적 표시 없이 주어 식별이 어느 정도 가능할 수 있는가?
• RQ3 언어 유형학적으로 다양성이 있는 언어들 사이에서 문법적 신호의 부용성은 어떻게 달라지는가?
• RQ4 어떤 종류의 문장에서 문법적 신호가 필수적인가, 특히 상호 전환 가능한 역할이나 비표준적 의미가 있는 경우에 대해?
• RQ5 문법적 신호 없이 주어 식별을 할 때 인간의 성능과 신경망의 성능는 어떻게 비교되는가?

주요 결과

• 형태적 및 어순 신호가 제거된 상황에서도 영어 참가자들이 89%의 정확도로 주어를 식별했고, 러시아어 참가자들은 87%의 정확도를 기록함.
• 신경망 분류기는 30개 언어에서 의미와 타당성만으로 주어를 식별하는 데 중앙값으로 87%의 정확도를 달성함.
• 어순과 형태론 같은 문법적 신호는 대부분의 단순 타동사 문장에서 부용하며, 그들 없이도 주어 식별 정확도가 높게 유지됨.
• 문법적 신호 없이도 높은 정확도를 기록한 것은 의미와 타당성이 대부분 자연적 맥락에서 이해를 위해 충분함을 시사함.
• 비표준적 또는 상호 전환 가능한 역할(예: 'Ray가 Lu를 도왔다' vs. 'Lu가 Ray를 도왔다')에서 의미 전달을 위해 여전히 문법적 신호가 필수적임.
• 이 연구는 다양한 언어 가문에서 일관된 성능을 보이며, 주어 식별의 부용성이 다국어적으로 널리 퍼져 있는 현상임을 입증함.