[논문 리뷰] Talking Space: inference from spatial linguistic meanings

Vincent Wang-Maścianica, Bob Coecke|arXiv (Cornell University)|2021. 09. 14.

Language, Metaphor, and Cognition참고 문헌 39인용 수 4

한 줄 요약

이 논문은 DisCoCat와 DisCoCirc를 사용하여 물리적 공간과 공간적 언어 의미를 통합하는 구성적이고 다이어그램 기반 프레임워크를 제안한다. 이는 '위에', '옆에' 등의 공간 관계나 체스 기물의 움직임과 같은 에이전트 기반 공간 능력에 대한 추론을 가능하게 한다. 주요 기여는 구현에 의존하지 않는 수학적으로 엄밀한 모델로서, 자연어에서의 공간 추론을 가능하게 하고 언어적 구조와 공간 의미, 몸체화를 통합한다.

ABSTRACT

This paper concerns the intersection of natural language and the physical space around us in which we live, that we observe and/or imagine things within. Many important features of language have spatial connotations, for example, many prepositions (like in, next to, after, on, etc.) are fundamentally spatial. Space is also a key factor of the meanings of many words/phrases/sentences/text, and space is a, if not the key, context for referencing (e.g. pointing) and embodiment. We propose a mechanism for how space and linguistic structure can be made to interact in a matching compositional fashion. Examples include Cartesian space, subway stations, chesspieces on a chess-board, and Penrose's staircase. The starting point for our construction is the DisCoCat model of compositional natural language meaning, which we relax to accommodate physical space. We address the issue of having multiple agents/objects in a space, including the case that each agent has different capabilities with respect to that space, e.g., the specific moves each chesspiece can make, or the different velocities one may be able to reach. Once our model is in place, we show how inferences drawing from the structure of physical space can be made. We also how how linguistic model of space can interact with other such models related to our senses and/or embodiment, such as the conceptual spaces of colour, taste and smell, resulting in a rich compositional model of meaning that is close to human experience and embodiment in the world.

연구 동기 및 목표

• 언어적 구조와 물리적 공간 간의 상호작용을 구성적이고 다이어그램 기반 프레임워크로 형식화하기.
• 구성적 의미론을 통해 공간 관계(예: '위에', '옆에')에 대한 추론을 가능하게 하기.
• 통합된 의미론적 프레임워크 내에서 에이전트 기반 공간 능력(예: 체스 기물의 이동)을 모델링하기.
• 다양한 개념적 공간(예: 색상, 맛)과 공간 의미를 통합하여 더 풍부하고 몸체화된 의미 표현을 가능하게 하기.
• 체계적이고 생산적인 개념 형성에 기여할 수 있도록 언어 의미론과 물리적 공간을 연결하기.

제안 방법

• 구문적 구조에 pregroup를 사용하고 다이어그램 기반 추론을 적용함으로써 물리적 공간을 통합한 DisCoCat 모델을 확장한다.
• 공성적 요소로서 공간 관계를 도입하여 DisCoCirc를 통해 문장 간 조합이 가능하게 하여 다중 에이전트 공간 추론을 가능하게 한다.
• 물체의 크기나 에이전트 기반 이동 능력(예: 체스에서의 나이트의 L자형 이동)과 같은 공간적 특징을 의미 범주 내부의 와이어링으로 모델링한다.
• 다양한 공간 영역(예: 격자, 지하철 노선도)을 통합하기 위해 R³를 일반적인 임bedding으로 사용한다.
• 문법적 구조를 유지하면서 통계적 또는 수작업 기반 방법을 통해 공간 관계를 학습할 수 있도록 구성적이고 범주론적 접근을 채택한다.
• 색상, 냄새 등 감각적 개념 공간과 언어 의미 간의 상호작용을 공성적 조합을 통해 구현한다.

실험 결과

연구 질문

• RQ1 물리적 공간의 구조를 존중하면서도 추론이 가능한 방식으로 공간 언어 의미를 어떻게 구성할 수 있는가?
• RQ2 에이전트 기반 공간 능력(예: 체스 기물의 이동)을 언어 의미론 프레임워크 내에서 어떻게 인코딩하고 조합할 수 있는가?
• RQ3 언어 문법과 일치하는 구성적 범주론적 방법을 사용하여 언어에서의 공간 추론을 어떻게 형식화할 수 있는가?
• RQ4 공간적이고 몸체화된 의미를 포함할 경우, DisCoCat 모델과 몬테그 와의 의미론 간의 관계는 어떠한가?
• RQ5 다양한 개념적 공간(예: 색상, 맛)과 공간 의미를 어떻게 통합하여 더 풍부하고 몸체화된 의미 모델을 구성할 수 있는가?

주요 결과

• 모델은 공간 부사어의 전이성(예: '화분 위에 있는 조각'에서 '조명 위에 있는 화분')과 같은 추론을 성공적으로 수행한다.
• 다양한 공간 능력을 지닌 에이전트들 간의 공간 상호작용에 대한 추론을 지원한다. 예를 들어 체스에서 나이트의 L자형 이동과 같은 경우.
• 언어적 다이어그램을 통해 체스판 위의 특정 기물을 명시적으로 특정할 수 있으며, 이는 명시적인 공간 추론 능력을 보여준다.
• 수작업 또는 학습된 공간 관계 모두와 호환되어 유연성과 확장성을 제공한다.
• 언어적 구조와 물리적 공간 간의 구성적 다리를 제공하여 체계적이고 생산적인 개념 형성에 기여한다.
• 공통적인 구성적 아키텍처를 통해 공간 의미를 다른 개념적 공간(예: 색상, 맛)과 통합함으로써 의미 표현의 몸체화를 강화한다.