[論文レビュー] Cats climb entails mammals move: preserving hyponymy in compositional distributional semantics.

Gemma De las Cuevas, Andreas Klingler+2 more|arXiv (Cornell University)|May 28, 2020

Natural Language Processing Techniques参考文献 27被引用数 6

ひとこと要約

本稿では、語の正定値行列（psd）を完全正値（CP）写像に持ち上げる新しい合成則「圧縮（Compr）」を提案する。この方法により、組み立て的分布的意味解析における上位下位関係（hyponymy）が保持される。スパイラル、カップ、キャップといった圏論的構成を用いることで、線形的かつ非可換な合成が保証され、文の含意データセットにおいて Fuzz や Phaser より優れた性能を発揮する。

ABSTRACT

To give vector-based representations of meaning more structure, one approach is to use positive semidefinite (psd) matrices. These allow us to model similarity of words as well as the hyponymy or is-a relationship. Psd matrices can be learnt relatively easily in a given vector space $M\otimes M^*$, but to compose words to form phrases and sentences, we need representations in larger spaces. In this paper, we introduce a generic way of composing the psd matrices corresponding to words. We propose that psd matrices for verbs, adjectives, and other functional words be lifted to completely positive (CP) maps that match their grammatical type. This lifting is carried out by our composition rule called Compression, Compr. In contrast to previous composition rules like Fuzz and Phaser (a.k.a. KMult and BMult), Compr preserves hyponymy. Mathematically, Compr is itself a CP map, and is therefore linear and generally non-commutative. We give a number of proposals for the structure of Compr, based on spiders, cups and caps, and generate a range of composition rules. We test these rules on a small sentence entailment dataset, and see some improvements over the performance of Fuzz and Phaser.

研究の動機と目的

• 既存の合成則が組み立て的分布的意味解析における上位下位関係（is-a 関係）を十分に保存できないという限界に対処すること。
• 語レベルの psd 行列を文法的タイプに一致する高階の CP 写像に持ち上げる手法を開発すること。
• 合成則が数学的に整合的で、線形的かつ非可換でありながら意味構造を維持すること。
• 提案された合成則が、先行手法と比較して文の含意タスクにおける性能向上をもたらすかどうかを検証すること。
• スパイラル、カップ、キャップを用いた、一般化可能な圏論的フレームワークを提供すること。

提案手法

• 空間 $M \otimes M^*$ から語表現を完全正値（CP）写像へと持ち上げることで、機能語やフレーズをモデル化する。
• 文法的タイプと整合的な方法で psd 行列を合成できる CP 写像としての「圧縮（Compr）」則を導入する。
• スパイラル、カップ、キャップといった圈权論的構成を用いて、Compr 則の複数のバリエーションを生成する。
• 合成プロセスの線形性と非可換性を保証し、構造的な意味的合成を可能にする。
• 得られた CP 写像を用いて、上位下位関係の含意を保持する形でフレーズや文を表現する。
• 実験的評価として、小規模な文の含意データセットに Compr 則を適用する。

実験結果

リサーチクエスチョン

• RQ1 分布的意味解析における語表現の合成において、合成則が上位下位関係（hyponymy）関係を保持できるか。
• RQ2 psd 行列から導かれる CP 写像は、Fuzz や Phaser といった既存の手法と比較して、どのように意味的合成をモデル化できるか。
• RQ3 スパイラル、カップ、キャップといった圈权論的構成は、原則的かつ柔軟な合成メカニズムをどの程度可能にするか。
• RQ4 提案された Compr 則は、ベースライン手法と比較して文の含意タスクにおける性能を向上させるか。
• RQ5 この合成則は、さまざまな文法的タイプや言語的構造に一般化可能か。

主な発見

• Compr 合成則は、Fuzz や Phaser とは異なり、組み立て的分布的意味解析において上位下位関係を効果的に保持する。
• Compr は完全正値写像として数学的に整合的であり、線形性と非可換性を保証する。
• スパイラル、カップ、キャップといった圈权論的構造の使用により、複数の妥当な合成則の生成が可能になる。
• 実験的評価では、Compr が Fuzz や Phaser よりも小規模な文の含意データセットにおいて性能を向上させることを示した。
• 提案手法は、文法的タイプに一致する psd 行列を CP 写像に持ち上げる汎用的なフレームワークを提供する。
• 結果から、CP 写像は分布的意味解析における標準的な合成則の代替として、より構造的かつ有効であることが示された。