[论文解读] Distilling Text into Circuits

Vincent Wang-Maścianica, Jonathon Liu+1 more|arXiv (Cornell University)|Jan 25, 2023

Natural Language Processing Techniques被引用 5

一句话总结

本文提出了 DisCoCirc，一种组合性与分布性框架，可将自然语言文本转化为文本电路——一种表示词语、句子及文本层面意义的图示性、非交换结构。该研究证明，文本电路消除了语法上的繁琐规则，实现了跨语言与语言内独立性，并提供了一种生成性、数学上严谨的意义建模方法，其应用范围可超越语言领域，延伸至空间与视觉领域。

ABSTRACT

This paper concerns the structure of meanings within natural language. Earlier, a framework named DisCoCirc was sketched that (1) is compositional and distributional (a.k.a. vectorial); (2) applies to general text; (3) captures linguistic `connections' between meanings (cf. grammar) (4) updates word meanings as text progresses; (5) structures sentence types; (6) accommodates ambiguity. Here, we realise DisCoCirc for a substantial fragment of English. When passing to DisCoCirc's text circuits, some `grammatical bureaucracy' is eliminated, that is, DisCoCirc displays a significant degree of (7) inter- and intra-language independence. That is, e.g., independence from word-order conventions that differ across languages, and independence from choices like many short sentences vs. few long sentences. This inter-language independence means our text circuits should carry over to other languages, unlike the language-specific typings of categorial grammars. Hence, text circuits are a lean structure for the `actual substance of text', that is, the inner-workings of meanings within text across several layers of expressiveness (cf. words, sentences, text), and may capture that what is truly universal beneath grammar. The elimination of grammatical bureaucracy also explains why DisCoCirc: (8) applies beyond language, e.g. to spatial, visual and other cognitive modes. While humans could not verbally communicate in terms of text circuits, machines can. We first define a `hybrid grammar' for a fragment of English, i.e. a purpose-built, minimal grammatical formalism needed to obtain text circuits. We then detail a translation process such that all text generated by this grammar yields a text circuit. Conversely, for any text circuit obtained by freely composing the generators, there exists a text (with hybrid grammar) that gives rise to it. Hence: (9) text circuits are generative for text.

研究动机与目标

• 。本文旨在解决现有组合分布性框架在建模跨长文本的动态、上下文敏感意义方面的局限性。
• 。旨在通过引入一种与语言无关的意义结构，克服语言特定语法规则（如范畴语法）的僵化性。
• 。目标包括开发一种最小化、专为特定任务设计的混合语法，以生成英语较大片段的文本电路。
• 。旨在建立句法文本与语义电路之间的形式化、生成性关联，确保每个电路均对应一个有效文本，反之亦然。
• 。研究进一步探讨文本电路如何建模高阶语言现象（如副词修饰与代词指代），超越传统论述表征理论的范畴。

提出的方法

• 。作者为英语的一个片段定义了一种混合语法，结合句法规则与分布性语义，以生成文本电路。
• 。他们引入文本图作为中间表示，通过图形化组合编码词序、代词关联与短语作用域。
• 。文本电路在对称单幕范畴中形式化定义为字符串图，其中生成元代表词语及其意义，组合则捕捉句法与语义关系。
• 。该框架使用非交换组合以保留文本推进的顺序，从而与交换图模型相区别。
• 。关键技术是使用“短语气泡”表示作用域与绑定，从而正确解释复杂名词短语与代词。
• 。本文证明了一个核心定理，建立了由混合语法生成的文本与文本电路之间的双射对应关系，证实了该模型的生成能力。

实验结果

研究问题

• RQ1 。如何通过组合性与分布性框架建模跨长文本的动态词义演变，而非仅限于句子层面的意义？
• RQ2 。文本电路在何种方式下消除了语言特定的语法规则，实现跨语言与语言内独立性？
• RQ3 。文本电路能否生成给定英语片段中的所有有效文本，并与文本实现一一对应？
• RQ4 。与论述表征理论相比，文本电路如何处理高阶语言现象（如副词修饰与代词指代）？
• RQ5 。由于其结构上的普遍性，文本电路在多大程度上可建模超越自然语言的意义，例如空间或视觉推理？

主要发现

• 。本文确立了文本电路对文本的生成性：由混合语法生成的每个文本均对应唯一一个文本电路，且每个自由组合的电路均对应一个有效文本。
• 。文本电路通过抽象掉语言特定的惯例（如词序与句子长度）消除了“语法繁琐规则”，实现了跨语言独立性。
• 。该框架自然容纳语言歧义与随文本推进的动态词义更新，满足组合分布性语义的关键期望。
• 。该模型直接实现了论述表征结构的图示化实现，其中文本电路通过引入非交换组合与高阶算子，对 DRT 实现了“细粒度”扩展。
• 。电路的非交换性可捕捉依赖顺序的意义效应（如笑话或时间推理中的意义），而交换图模型则无法实现。
• 。该框架在精神上与蒙塔古语义学兼容，因其保持代数组合性，但通过多对多输出结构（PROPs）加以扩展，实现了比传统代数同态更丰富的语义组合。