[論文レビュー] Talking Space: inference from spatial linguistic meanings

Vincent Wang-Maścianica, Bob Coecke|arXiv (Cornell University)|Sep 14, 2021

Language, Metaphor, and Cognition参考文献 39被引用数 4

ひとこと要約

本稿では、DisCoCat および DisCoCirc を用いて物理的空間と空間的言語的意味を統合する構成的で図式的な枠組みを提案する。これにより、空間的関係（例：'above'、'next to'）およびエージェント固有の空間的能力（例：チェス駒の動き）に関する推論が可能になる。主な貢献は、数学的に厳密で実装に依存しないモデルであり、自然言語における空間的推論を可能にし、言語的構造と空間的意味論および身体的実装を統合する。

ABSTRACT

This paper concerns the intersection of natural language and the physical space around us in which we live, that we observe and/or imagine things within. Many important features of language have spatial connotations, for example, many prepositions (like in, next to, after, on, etc.) are fundamentally spatial. Space is also a key factor of the meanings of many words/phrases/sentences/text, and space is a, if not the key, context for referencing (e.g. pointing) and embodiment. We propose a mechanism for how space and linguistic structure can be made to interact in a matching compositional fashion. Examples include Cartesian space, subway stations, chesspieces on a chess-board, and Penrose's staircase. The starting point for our construction is the DisCoCat model of compositional natural language meaning, which we relax to accommodate physical space. We address the issue of having multiple agents/objects in a space, including the case that each agent has different capabilities with respect to that space, e.g., the specific moves each chesspiece can make, or the different velocities one may be able to reach. Once our model is in place, we show how inferences drawing from the structure of physical space can be made. We also how how linguistic model of space can interact with other such models related to our senses and/or embodiment, such as the conceptual spaces of colour, taste and smell, resulting in a rich compositional model of meaning that is close to human experience and embodiment in the world.

研究の動機と目的

• 言語的構造と物理的空間の相互作用を、構成的で図式的な枠組みで形式化すること。
• 構成的意味論を用いて、空間的関係（例：'above'、'next to'）に関する推論を可能にすること。
• 一貫した意味論的枠組み内に、エージェント固有の空間的能力（例：チェス駒の移動）をモデル化すること。
• 空間的意味を他の概念的空間（例：色、味）と統合し、より豊かな身体的意味表現を可能にすること。
• 系統的かつ生産的な概念形成を支援するように、言語的意味論と物理的空間を結びつけること。

提案手法

• 句構造にプリグループを用い、図式的推論を用いて、物理的空間を組み込んだ、DisCoCat モデルの拡張。
• 空間的関係を構成的実体として導入し、DisCoCirc を介して文間を跨いで結合可能にすることで、複数エージェントの空間的推論を可能にする。
• 物体の拡大やエージェント固有の移動能力（例：チェスのナイトのL字移動）といった空間的特徴を、意味カテゴリー内の内部ワイヤリングとしてモデル化。
• 多様な空間的ドメイン（例：グリッド、地下鉄路線）を統合するために、普遍的な埋め込みとして R³ を用いる。これにより、離散的および連続的空間の統合が可能になる。
• 文法的構造を保持する構成的圏論的アプローチを採用し、統計的または手作業による方法で空間的関係を学習可能にする。
• 言語的意味と感覚的概念的空間（例：色、匂い）との間の相互作用を、構成的結合性を通じて実現する。

実験結果

リサーチクエスチョン

• RQ1 物理的空間の構造を尊重し、推論を可能にするような、空間的言語的意味の構成的組み合わせはどのように実現できるか？
• RQ2 エージェント固有の空間的能力（例：チェス駒の動き）は、言語的意味論枠組み内でどのように符号化され、組み合わせられるか？
• RQ3 言語的文法と一致する構成的圏論的手法を用いて、言語における空間的推論をどのように形式化できるか？
• RQ4 空間的および身体的意味が含まれる場合、DisCoCat モデルとモンテーリュ意味論の関係は何か？
• RQ5 空間的意味は、他の概念的空間（例：色、味）とどのように統合され、より豊かな身体的意味モデルを形成できるか？

主な発見

• 空間の前置詞の推移的性質（例：'painting above chest' における 'above' は 'light above chest' を含意）の推論が成功裏に可能になった。
• 複数のエージェントが空間に存在する場合の推論をサポートしており、エージェントが異なる空間的能力を持つ場合（例：チェスのナイトのL字移動）にも対応可能である。
• 言語的図式を用いてチェス盤上の特定の駒を指定できるため、明示的な空間的推論能力を示している。
• 手作業によるものと学習によるものの両方に対応可能であり、柔軟性とスケーラビリティを兼ね備えている。
• 言語的構造と物理的空間の間の構成的ブリッジを提供しており、系統的かつ生産的な概念形成を可能にしている。
• 共通の構成的アーキテクチャを通じて、空間的意味論と他の概念的空間（例：色、味）を統合し、意味表現における身体的実装を強化している。