[論文レビュー] The Mathematics of Text Structure

Bob Coecke|arXiv (Cornell University)|Apr 6, 2019

Natural Language Processing Techniques被引用数 5

ひとこと要約

本稿では、語の意味を回路構造に類似した構造内での進化する型として扱うことで、テキスト意味をモデル化する、量子にインspiredされたカテゴリー的枠組みであるDisCoCircを紹介する。文はこれらの意味を更新するゲートとして機能する。DisCoCatを拡張し、文間をまたがる動的で構成的意味の進化を可能にし、テキスト全体に対して一貫したストリング図を生成する。これは量子自然言語処理への応用を有する。

ABSTRACT

In previous work we gave a mathematical foundation, referred to as DisCoCat, for how words interact in a sentence in order to produce the meaning of that sentence. To do so, we exploited the perfect structural match of grammar and categories of meaning spaces. Here, we give a mathematical foundation, referred to as DisCoCirc, for how sentences interact in texts in order to produce the meaning of that text. First we revisit DisCoCat. While in DisCoCat all meanings are fixed as states (i.e. have no input), in DisCoCirc word meanings correspond to a type, or system, and the states of this system can evolve. Sentences are gates within a circuit which update the variable meanings of those words. Like in DisCoCat, word meanings can live in a variety of spaces e.g. propositional, vectorial, or cognitive. The compositional structure are string diagrams representing information flows, and an entire text yields a single string diagram in which word meanings lift to the meaning of an entire text. While the developments in this paper are independent of a physical embodiment (cf. classical vs. quantum computing), both the compositional formalism and suggested meaning model are highly quantum-inspired, and implementation on a quantum computer would come with a range of benefits. We also praise Jim Lambek for his role in mathematical linguistics in general, and the development of the DisCo program more specifically.

研究の動機と目的

• 文の意味がどのように合成され、テキスト全体の意味を形成するかという数学的基盤を構築すること。これは分散意味論における主要なギャップを埋めるものである。
• 語の意味を静的状態ではなく、進化する型としてモデル化することで、文処理による動的更新を可能にすること。
• 文レベルの合成と語レベルの意味を、古典的および量子的実装を両立できる一貫した形式的枠組みで統合すること。
• 数学的言語学に基礎を置くジム・ランベックの貢献を称え、DisCoプログラムおよび量子にインspired意味論に与えた影響を尊重すること。

提案手法

• 語の意味を固定された状態ではなく、システム（型）として表現することで、文処理による意味の進化を可能にする。
• 文を入出力プロセス（ゲート）としてモデル化し、動的語の型の状態を変換することで、回路に類似した合成を形成する。
• ストリング図を用いて情報の流れを表現し、テキスト全体をテンソル積と逐次合成の組み合わせとして構成された単一の図として表現する。
• 密度行列とスペクトル分解を用いて語の意味を表現・更新し、純粋状態から混合状態への一般化を実現する。
• ボックス-状態双対性とヒルベルト＝シュミット内積を用いて、テキストの類似性および含意関係を計算する。
• コンパクト閉包やプレグラム文法などの量子にインspiredな形式的枠組みを活用し、構成的構造と計算効率を両立する。

実験結果

リサーチクエスチョン

• RQ1 文の意味を数学的に厳密に合成することで、テキスト全体の意味をどのように得られるか？
• RQ2 語の意味が静的ではなく動的である場合、文の意味の形式的型構造はどのようなものか？
• RQ3 語の意味は、テキスト内の文の系列を通じてどのように意味的に進化するか？
• RQ4 DisCoCircの回路ベース構造は、DisCoCatフレームワークをどのように一般化または包含するか？
• RQ5 量子コンピュータによるDisCoCircの実装は、特に空間的・時間的計算量の観点で、どのような利点を提供するか？

主な発見

• DisCoCircは、語の意味を文処理を通じて進化する型としてモデル化することで、テキストレベルの意味合成問題に対する一般解を提供する。
• このフレームワークにより、文の意味が進化する語の型を操作するゲートとして機能するため、テキスト全体が単一のストリング図として表現可能である。
• 密度行列とスペクトル分解の使用により、純粋状態を超えたより豊かで柔軟な語の意味表現が可能になる。
• モデルは、結果の状態における内積を用いた類似性および含意関係の計算といった、標準的なDisCoCatの操作をサポートする。
• 量子実装により、特に動的名詞を多く含むテキストにおいて、指数的空間節約と潜在的な高速化が得られる。
• このフレームワークは、既存のDisCoCat手法と完全に互換性があり、語の意味が静的である場合、DisCoCatはDisCoCircの特別なケースとして現れる。