[論文レビュー] A CCG-Based Version of the DisCoCat Framework

Richie Yeung, Dimitri Kartsaklis|arXiv (Cornell University)|May 17, 2021

Natural Language Processing Techniques参考文献 22被引用数 17

ひとこと要約

本稿では、表現力とスケーラビリティの制限を克服するため、pregroup grammarの代わりに組合せカテゴリー文法（CCG）を用いたDisCoCatフレームワークの再定式化を提案する。CCGを双閉じカテゴリーとしてモデル化し、順序交換規則には対称的コン pact 閉包を適用することで、既存のCCGパーサーを用いて大規模なDisCoCat実験を可能にした。『アリスのいるワンダーランド』の完全な翻訳が、DisCoCat図に変換されたことで、その有効性が実証された。

ABSTRACT

While the DisCoCat model (Coecke et al., 2010) has been proved a valuable tool for studying compositional aspects of language at the level of semantics, its strong dependency on pregroup grammars poses important restrictions: first, it prevents large-scale experimentation due to the absence of a pregroup parser; and second, it limits the expressibility of the model to context-free grammars. In this paper we solve these problems by reformulating DisCoCat as a passage from Combinatory Categorial Grammar (CCG) to a category of semantics. We start by showing that standard categorial grammars can be expressed as a biclosed category, where all rules emerge as currying/uncurrying the identity; we then proceed to model permutation-inducing rules by exploiting the symmetry of the compact closed category encoding the word meaning. We provide a proof of concept for our method, converting "Alice in Wonderland" into DisCoCat form, a corpus that we make available to the community.

研究の動機と目的

• DisCoCatフレームワークにおけるpregroup grammarの制限を解消する。具体的には、文脈自由言語に限定された表現力と、スケーラブルなパーサー支援の欠如を改善する。
• CCGという、統計的パーサーが豊富に利用可能な、やや文脈に依存する形式的体系に置き換えることで、大規模なDisCoCat実験を可能にする。
• CCG規則（順序保持および順序変更を引き起こす規則を含む）を、理論的に整合性のある双閉じカテゴリーに基づく符号化を提供する。
• 標準的なCCGパーサーを用いて『アリスのいるワンダーランド』の全文をDisCoCat図に変換することで、本手法の実現可能性を実証する。
• 得られたコーパスと、DisCoCat図生成用のWebベースツールを公開し、コミュニティ研究および実験を支援する。

提案手法

• CCGを双閉じカテゴリーとしてモデル化し、恒等射のカリー化およびアンカリー化操作から自然に標準的な句法学的規則が導かれるようにする。
• 順序交換規則（例：交差合成）を、意味のコンパクト閉じたカテゴリーの対称性同型写像を用いて符号化し、効率的なワイヤー交換表現を可能にする。
• 原子型、語、CCG規則から生成される自由な双閉じカテゴリーから、有限次元ベクトル空間（FdVect）のカテゴリーへの閉じたモノイダル関手を定義する。
• 語の意味をテンソルとして表現し、文の意味をテンソルの縮約として扱い、構文的導出を関手的写像によってストリング図に写像する。
• 意味カテゴリの対称性を用いて、非標準的な語順やクロスシリアル依存関係をワイヤーの順序変更によって符号化し、基礎となるテンソル構造を変更せずに実現する。
• 標準的なCCGパーサー（例：Yoshikawa et al. 2017）を用いて構文的構造を導出し、提案された圏的写像によりそれらをDisCoCat図に変換する。

実験結果

リサーチクエスチョン

• RQ1 組合せカテゴリー文法（CCG）を圏論を用いてDisCoCatフレームワークに正式に埋め込むことは可能か？ これによりpregroup grammarが置き換えられるか？
• RQ2 CCGにおける順序交換規則（例：交差合成）は、対称的コンパクト閉じた意味カテゴリにどのように効率的に符号化できるか？
• RQ3 CCGに基づくDisCoCatフレームワークは、pregroupでは到達できない、クロスシリアル依存関係などの非文脈自由構造をモデル化できるか？
• RQ4 既存の強固なCCGパーサーは、任意の構文的構造を持つ大規模で現実世界のコーパスに、DisCoCat実験をスケーリングするために効果的に利用可能か？
• RQ5 得られたDisCoCat図は、言語的表現力と計算の実行可能性を保ちつつ、文の意味を組立的に計算するためにどの程度有効に利用できるか？

主な発見

• 著者らは、CCGを構文的基盤として用いたDisCoCatの再定式化に成功し、クロスシリアル依存関係のようなやや文脈に依存する現象をモデル化できるようになった。
• 双閉じカテゴリーの使用により、カリー化およびアンカリー化操作から自然にCCGの標準的な句法学的規則（型昇格、合成など）が形式的に符号化された。
• CCGの順序交換規則は、意味カテゴリの対称性同型写像を用いて効率的に符号化され、テンソル構造を変更せずにワイヤー交換によって語順の変更を表現できるようになった。
• 著者らは、標準的なCCGパーサーを用いて『アリスのいるワンダーランド』の全文をDisCoCat図に変換することで、本手法の実用性を実証した。これにより、初めての大規模で公開可能なDisCoCatコーパスが作成された。
• 任意の文をDisCoCat図に変換できるWebベースのツールが公開され、コミュニティの広範なアクセスと実験を可能にした。