[論文レビュー] Distilling Text into Circuits

Vincent Wang-Maścianica, Jonathon Liu+1 more|arXiv (Cornell University)|Jan 25, 2023

Natural Language Processing Techniques被引用数 5

ひとこと要約

本稿では、自然言語テキストをテキスト回路—語、文、テキスト全体の意味を表す図式的で非可換な構造—に翻訳する構成的で分散的フレームワーク、DisCoCirc を紹介する。テキスト回路が文法的官僚主義を排除し、言語間および言語内独立性を実現するとともに、生成的で数学的に厳密な意味のモデルを提供し、言語領域を超えて空間的・視覚的領域へも拡張可能であることを示している。

ABSTRACT

This paper concerns the structure of meanings within natural language. Earlier, a framework named DisCoCirc was sketched that (1) is compositional and distributional (a.k.a. vectorial); (2) applies to general text; (3) captures linguistic `connections' between meanings (cf. grammar) (4) updates word meanings as text progresses; (5) structures sentence types; (6) accommodates ambiguity. Here, we realise DisCoCirc for a substantial fragment of English. When passing to DisCoCirc's text circuits, some `grammatical bureaucracy' is eliminated, that is, DisCoCirc displays a significant degree of (7) inter- and intra-language independence. That is, e.g., independence from word-order conventions that differ across languages, and independence from choices like many short sentences vs. few long sentences. This inter-language independence means our text circuits should carry over to other languages, unlike the language-specific typings of categorial grammars. Hence, text circuits are a lean structure for the `actual substance of text', that is, the inner-workings of meanings within text across several layers of expressiveness (cf. words, sentences, text), and may capture that what is truly universal beneath grammar. The elimination of grammatical bureaucracy also explains why DisCoCirc: (8) applies beyond language, e.g. to spatial, visual and other cognitive modes. While humans could not verbally communicate in terms of text circuits, machines can. We first define a `hybrid grammar' for a fragment of English, i.e. a purpose-built, minimal grammatical formalism needed to obtain text circuits. We then detail a translation process such that all text generated by this grammar yields a text circuit. Conversely, for any text circuit obtained by freely composing the generators, there exists a text (with hybrid grammar) that gives rise to it. Hence: (9) text circuits are generative for text.

研究の動機と目的

• . 本稿の目的は、拡張されたテキスト全体にわたる動的で文脈に依存する意味をモデル化する現存の構成的分散フレームワークの限界を克服することにある。
• . カテゴラル文法などの言語特異的文法形式の硬直性を乗り越え、意味のための言語に依存しない構造を導入することを目的としている。
• . 本目的には、英語の実質的断片のためのテキスト回路を生成する最小限で目的に特化したハイブリッド文法の開発が含まれる。
• . 文法的テキストと意味的回路の間の形式的で生成的な対応関係を確立し、すべての回路が有効なテキストに対応し、逆にすべてのテキストが有効な回路に対応することを保証することを目的としている。
• . 本研究は、話題の代表的理論を越えて、副詞修飾や代名詞的参照といった高階の言語現象をテキスト回路がどのようにモデル化できるかをさらに調査する。

提案手法

• . 著者らは、英語の断片のためのハイブリッド文法を定義し、文法的規則と分散的意味論を組み合わせてテキスト回路を生成する。
• . 途中表現としてテキスト図を導入し、語の順序、代名詞的リンク、句のスコープを図式的合成によって符号化する。
• . テキスト回路は、対称モノイダル圏におけるストリング図として形式的に定義され、生成子が語とその意味を表し、合成が文法的および意味的関係を捉える。
• . 非可換合成を用いることで、テキスト進行の順序を保持し、可換なグラフモデルとは区別される。
• . 重要な技術として、「句のバブル」を用いてスコープと束縛を表現し、複雑な名詞句や代名詞の正しい解釈を可能にする。
• . 本稿では、ハイブリッド文法によって生成されるテキストとテキスト回路との間の全単射対応を確立する主要定理を証明している。

実験結果

リサーチクエスチョン

• RQ1 . 構成的で分散的なフレームワークは、文単位の意味ではなく、拡張されたテキスト全体にわたる進化する語の意味をどのようにモデル化できるか？
• RQ2 . テキスト回路は、言語特異的文法慣習をどのように排除し、言語間および言語内独立性を実現するか？
• RQ3 . テキスト回路は、与えられた英語断片のすべての有効なテキストを、テキストと回路の1対1対応を保ちながら生成的に表現できるか？
• RQ4 . テキスト回路は、話題の代表的理論と比較して、副詞修飾や代名詞的参照といった高階の言語現象をどのように処理するか？
• RQ5 . テキスト回路は、構造的一般性に起因して、自然言語を超えて空間的・視覚的推論といった領域においても意味をモデル化できる程度はどの程度か？

主な発見

• . 本稿では、テキスト回路がテキストに対して生成的であることを確立している：ハイブリッド文法によって生成されるすべてのテキストは一意なテキスト回路に対応し、自由に合成されたすべての回路は有効なテキストに対応する。
• . テキスト回路は「文法的官僚主義」を排除する。語の順序や文の長さといった言語特異的慣習から抽象化することで、言語間独立性が実現される。
• . フレームワークは言語的曖昧性やテキスト進行に伴う語の意味の動的更新を自然に扱える。これは、構成的分散的意味論の主要な望ましい性質を満たしている。
• . モデルは話題の代表的構造を直接的な図式的実現として提供する。テキスト回路は、非可換合成と高階の作用素を組み込むことで、DRT を「細分化された」拡張として提供する。
• . 回路の非可換性は、ジョークや時間的推論における順序依存の意味効果を捉える。可換なグラフモデルではこれを捉えることができない。
• . 本フレームワークは、モンテーリュ意味論の精神に則っている。代数的構成的性質を保っているが、PROPs を用いた多対多出力構造により、従来の代数的準同型写像を越えて、より豊かな意味的合成を可能にする。