[論文レビュー] Incremental Monoidal Grammars

Dan Shiebler, Alexis Toumi+1 more|arXiv (Cornell University)|Jan 2, 2020

Natural Language Processing Techniques参考文献 22被引用数 4

ひとこと要約

本稿では、関手を介して形式文法を重み付きオートマトンへ写像する圏論的枠組みとして、逐次的モノイダル文法を導入し、逐次的解析と確率的言語モデル化を可能にする。これはDisCoCat意味論を重み付き・半環に基づく文法へ拡張し、対数確率の線形近似を用いて、確率的言語モデルから$\mathbb{R}_{\geq 0}$-モノイダル文法を推論する学習アルゴリズムを提供する。

ABSTRACT

In this work we define formal grammars in terms of free monoidal categories, along with a functor from the category of formal grammars to the category of automata. Generalising from the Booleans to arbitrary semirings, we extend our construction to weighted formal grammars and weighted automata. This allows us to link the categorical viewpoint on natural language to the standard machine learning notion of probabilistic language model.

研究の動機と目的

• 自然言語処理で用いられる、圏論的構成的分布的モデル（DisCoCat）と確率的言語モデルの間のギャップを埋めること。
• 自由モノイダル圏を用いた文法の逐次的解析を形式化し、文法からオートマトンコアルゲブラへの関手を定義すること。
• 任意の半環上の形式的文法を一般化し、重み付きおよび確率的推論を可能にすること。
• 確率的言語モデルから$\mathbb{R}_{\geq 0}$-モノイダル文法を推論する学習アルゴリズムを開発すること。
• 構文に基づく圏論的モデルと意味的ベクトル空間、動的解析を統合する基盤を構築すること。

提案手法

• 生成矢印と関係を備えた、生成元を有するpreorder付きモノイドとしてモノイダル文法を定義し、文脈自由文法やpregroup文法を一般化する。
• 任意の半環$\mathbb{S}$に対して、重み付きオートマトン関手$\mathcal{W}(X) = \mathbb{S} \times (\mathbb{S}^X)^V$のコアルゲブラへ向かう関手$\mathcal{I}$を、$\mathbb{S}$-モノイダル文法から構成する。
• 最大解析状態の概念を導入し、最大解析状態の尤度$pr_M(p)$を、$p$が最大であるすべての解析の確率の和として定義する。
• 学習の目的関数を、$B_p$内の生成矢印における$\log(r(g))$の重み付き和と$\log(pr_M(p))$の$L^2$ノルムの最小化として定式化する。
• 対数確率の線形近似を用い、有限または無限の解析状態集合に対して、正規方程式または確率的勾配降下法により解く。
• 既存のベクトル空間意味論からの関手を合成することで、意味情報のフレームワークへの統合を提案する。

実験結果

リサーチクエスチョン

• RQ1 形式的文法を、圏論的構造を用いて、どのように体系的に逐次的オートマトンへ写像できるか？
• RQ2 任意の半環$\mathbb{S}$に対して、$\mathbb{S}$-モノイダル文法から重み付きオートマトンコアルゲブラへの関手を定義できるか？
• RQ3 確率的言語モデルを用いて、逐次的解析を通じてモノイダル文法の重みを学習できるか？
• RQ4 最大解析状態は、逐次的解析における尤度を定義する上で果たす役割は何か？
• RQ5 意味情報は、逐次的モノイダル文法の圏論的枠組みにどのように統合できるか？

主な発見

• 本稿では、重み付きオートマトン関手のコアルゲブラへ向かう関手$\mathcal{I}$を$\mathbb{S}$-モノイダル文法から構成し、逐次的解析を可能にする。
• 最大解析状態の尤度$pr_M(p)$は、部分的解析状態$p$が完成した文において最大である確率を定量化する。
• 確率的言語モデルからの$\mathbb{R}_{\geq 0}$-モノイダル文法の学習目的関数は、対数確率の線形回帰問題として定式化され、勾配降下法により解ける。
• 必要に応じて、確率的勾配降下法を用いることで、有限または無限の解析状態集合からの学習が可能である。
• 本手法は、現代のNLPで用いられるDisCoCatスタイルの構文と確率的言語モデルを結ぶ圏論的基盤を提供する。
• 今後の課題として、文法とオートマトンの圏の間の適切な随伴関手の可能性が示唆されており、より深い構造的関係を示唆している。